← Atlas

Lección 10 — Tokenizer multilingüe y unlearning responsable

Descargar MP3 · Transcripción

# Lección 10 — Tokenizer multilingüe y unlearning responsable

**Duración orientativa:** 18–22 minutos de audio, más dos prácticas.  
**Continuidad r3.2:** esta versión conserva la separación entre hecho, hipótesis y experimento. Amplía la parte de idiomas sin convertir una caída de rendimiento en una supuesta «purga» de conocimiento.

## Objetivos

Al terminar podrás:

1. distinguir tokenizer, vocabulario, embeddings y conocimiento aprendido;
2. medir la eficiencia léxica de varios idiomas sin confundirla con calidad;
3. separar especialización, recorte de vocabulario, supresión conductual y unlearning;
4. diseñar una evaluación de olvido aproximado con controles de retención y seguridad;
5. rechazar dos promesas injustificadas: «el idioma desapareció» y «los safeguards fueron eliminados».

## Prerrequisitos y materiales

Necesitas el mismo checkpoint, tokenizer, plantilla de chat y runtime usados en el baseline. Trabaja sobre copias desechables y registra hashes. Prepara texto público o sintético en español, inglés y dos lenguas de contraste; incluye acentos, nombres, números, código, transliteración y *code-switching*. No uses conversaciones privadas ni datos cuya licencia no permita evaluación.

## Idea de apertura

Un modelo no lee palabras: recibe identificadores de tokens. Pero sería un error concluir que cada idioma vive dentro de un cajón de tokens. El tokenizer decide cómo convertir texto en piezas; las matrices de entrada convierten esas piezas en vectores; el Transformer aprende regularidades distribuidas; y la plantilla de chat condiciona la conducta visible. Cambiar una capa puede alterar el acceso a una capacidad sin borrar lo aprendido en las demás.

Esa distinción importa en Ornith. Su tarjeta y sus artefactos públicos lo presentan como un modelo postentrenado sobre una base Qwen y exponen archivos de tokenizer heredados.[1] Por tanto, especializar respuestas para código o herramientas no equivale a diseñar una nueva interfaz léxica, y recortar esa interfaz no certifica que el cuerpo del modelo haya olvidado un idioma.

## 1. Qué hace realmente el tokenizer

Un tokenizer subword intenta representar cualquier cadena con un vocabulario finito. Según su entrenamiento, una palabra frecuente puede ocupar una pieza y otra dividirse en varias. La unidad práctica no es «palabra», sino secuencia de IDs. Esto afecta cuatro cosas observables: tokens por carácter, longitud disponible para contenido, coste de embeddings y facilidad con que el modelo ve patrones repetidos.

Una fragmentación mayor puede volver una lengua menos eficiente: el mismo mensaje consume más contexto y más pasos de decodificación. No demuestra por sí sola peor comprensión. Tampoco un vocabulario grande demuestra dominio: puede contener piezas de un alfabeto que el modelo usa mal. Por eso conviene informar al menos caracteres, bytes, tokens y razón tokens/caracteres por idioma, junto con tareas de comprensión y generación.

El tokenizer tampoco es una simple lista de palabras. Incluye normalización, reglas de pretokenización, *merges*, tokens especiales y correspondencia ID↔pieza. Alterar el orden de IDs sin transformar de forma consistente embeddings y cabeza de salida corrompe el contrato del checkpoint. «Borrar las filas españolas» ni siquiera está bien definido: muchas piezas aparecen en nombres, código, otras lenguas romances o cadenas mixtas.

WECHSEL ofrece un contraste útil. El trabajo reemplaza tokenizers y reinicializa embeddings con alineación multilingüe para transferir modelos monolingües a otras lenguas, manteniendo reutilizable gran parte del cuerpo del modelo.[2] La lección no es que el procedimiento se traslade sin más a Ornith, sino que interfaz léxica y conocimiento interno son componentes relacionados, no idénticos.

## 2. Multilingüismo: cobertura, capacidad y conducta

Para auditar un idioma separa tres preguntas.

- **Cobertura:** ¿el tokenizer puede codificar el texto y con qué fragmentación?
- **Capacidad:** ¿el modelo comprende, traduce, resume o razona correctamente?
- **Conducta:** ¿elige responder en esa lengua, mezcla idiomas, rechaza o sigue instrucciones?

Un prompt del sistema puede cambiar la tercera sin cambiar las dos primeras. Un adapter puede mejorar una tarea y provocar olvido catastrófico en otras. Un vocabulario recortado puede ahorrar parámetros léxicos, pero dejar representaciones recuperables mediante piezas restantes, transliteración o traducción.

El recorte de vocabulario sí es una técnica legítima de compresión. Ushio y colaboradores eliminan tokens irrelevantes y sus filas de embeddings/salida en modelos multilingües, y muestran que en tareas e idiomas concretos es posible conservar buena parte del rendimiento con vocabularios menores.[3] El mismo estudio también documenta sensibilidad según modelo y tarea. Por eso su conclusión operativa es «medir el compromiso», no «un token menos equivale a un conocimiento menos».

La evidencia sobre representaciones refuerza la prudencia. Un estudio encuentra neuronas relativamente selectivas por lengua y efectos causales al intervenirlas, pero eso no prueba que todo un idioma esté confinado allí.[5] Otro encuentra solapamiento de dimensiones informativas entre lenguas y variación según rasgo y familia lingüística.[6] La lectura conjunta es especialización parcial sobre una base compartida y distribuida.

## 3. Vídeos: apoyo visual, no fuente de claims

### Vídeo nuevo

**Fazl Barez — “Unlearning in Large Language Models”**, Intelligent Cooperation Workshop 2024, 10:17.[7] Se incorpora como cápsula visual nueva para introducir el problema: objetivo de olvido, utilidad retenida y necesidad de ataques de recuperación. La auditoría confirmó URL, título, ponente, evento y duración. YouTube anunció subtítulos automáticos, pero la descarga local devolvió HTTP 429; por eso no se atribuyen al vídeo cifras ni conclusiones experimentales. Los claims de esta lección proceden de papers.

### Vídeo heredado, re-auditado

**Andrej Karpathy — “Let’s build the GPT Tokenizer”**, 2:13:34.[8] Se hereda como demostración visual de Unicode, bytes, BPE, encode/decode y tokens especiales. La re-auditoría confirmó metadata y capítulos públicos; la recuperación del VTT volvió a fallar con HTTP 429. Úsalo para ver la mecánica —en especial los bloques de construcción y comparación de fragmentación—, no como prueba de resultados para Ornith ni de unlearning.

**Regla editorial:** ambos vídeos ayudan a ver conceptos. Ninguno carga afirmaciones sobre borrado, robustez o conservación de utilidad.

## 4. Del recorte al unlearning

Conviene ordenar las intervenciones de menor a mayor afirmación:

1. **Política de salida:** el sistema pide responder sólo en determinadas lenguas.
2. **Especialización:** SFT, LoRA o continued pretraining favorecen tareas o idiomas.
3. **Recorte léxico:** se quitan piezas y filas para reducir memoria o cobertura.
4. **Supresión conductual:** cae una conducta objetivo bajo un protocolo definido.
5. **Unlearning aproximado:** se intenta reducir asociaciones aprendidas, conservando utilidad.
6. **Borrado verificable:** afirmación fuerte que exigiría demostrar ausencia frente a una amplia clase de extracciones y reaprendizaje.

El trabajo “Who’s Harry Potter?” propone unlearning aproximado de un dominio temático en Llama 2 mediante identificación de tokens, etiquetas alternativas y fine-tuning; evalúa recuerdo/generación del objetivo y benchmarks generales.[4] Es un precedente valioso, pero acotado: no demuestra irreversibilidad ni una garantía universal contra extracción. Su propio encuadre como aproximado es la etiqueta correcta.

Un idioma completo es un objetivo aún más difuso que una franquicia. Contiene gramática, conocimiento cultural, nombres propios, préstamos, código, texto en imágenes y hechos expresables en otras lenguas. No existe una lista finita de prompts que certifique su ausencia. Por eso aquí no prometemos purga perfecta: sólo podemos medir reducción de conductas bajo ataques documentados.

Tampoco buscamos eliminar safeguards. La seguridad debe evaluarse de forma multilingüe y conservarse o mejorar. Si una intervención deja de rechazar una solicitud dañina porque está en una lengua degradada, el experimento falla. Reducir una capacidad lingüística no es una estrategia de seguridad, y borrar negativas visibles no equivale a retirar una política sin consecuencias.

## Práctica 1 — Auditoría del tokenizer, sin modificar pesos

**Objetivo:** medir cobertura y eficiencia, no calidad general.

1. Crea 40–60 ejemplos equivalentes por idioma: conversación, instrucciones, JSON, rutas, nombres, código y cadenas mixtas.
2. Tokeniza con el artefacto exacto del checkpoint. Guarda texto, bytes, IDs, piezas y conteos.
3. Calcula mediana y percentiles de tokens/caracteres y tokens/bytes. Separa escritura natural, código y *code-switching*.
4. Inspecciona diez casos extremos. Busca división de acentos, emojis, nombres y tokens especiales.
5. Repite con una versión hipotética de vocabulario recortado sólo en una simulación de cobertura; no reasignes IDs ni publiques un checkpoint.

**Entregable:** tabla por categoría, diez trazas de encode/decode y lista de riesgos.  
**Criterio de éxito:** encode→decode conserva exactamente el texto esperado y el informe evita frases como «entiende mejor» basadas sólo en menos tokens.  
**Criterio de parada:** cualquier token especial alterado, decode no reversible o licencia dudosa.

## Práctica 2 — Protocolo de supresión y retención, aislado

**Objetivo:** diseñar evaluación antes de entrenar. Esta práctica está separada de la anterior: no confunde eficiencia léxica con olvido.

1. Congela un baseline y define la conducta objetivo en términos medibles: por ejemplo, reducción de respuesta espontánea en una lengua, nunca «idioma eliminado».
2. Construye conjuntos sin solapamiento para comprensión, generación, traducción y extracción. Añade paráfrasis, transliteración, errores ortográficos, *code-switching*, contexto bilingüe y recuperación mediante ejemplos.
3. Crea una batería de retención: código, tool calling, JSON, razonamiento, idiomas vecinos, calibración y seguridad multilingüe.
4. Si se prueba un adapter, mantenlo reversible y no lo fusiones. Compara baseline y candidato con el mismo sampler, plantilla y presupuesto.
5. Registra tasa de conducta objetivo, recuperación adversarial, utilidad retenida y velocidad de reaprendizaje con un microajuste permitido. Reporta intervalos y fallos, no sólo promedios.
6. Rechaza el candidato si evade safeguards, degrada idiomas no objetivo o recupera fácilmente la conducta que se declaró «olvidada».

**Entregable:** matriz objetivo×ataque×retención, configuración reproducible y decisión `aprobar/rechazar/inconcluso`.  
**Criterio de éxito:** la conclusión usa “supresión observada” o “unlearning aproximado” y delimita exactamente el protocolo.  
**Prohibido:** datos personales, intentos de desactivar seguridad, despliegue público o afirmaciones de borrado irreversible.

## Límites de esta lección

- No se ha demostrado un método de purga lingüística para Ornith.
- Los resultados de modelos y escalas de los papers no se transfieren automáticamente al checkpoint local.
- Menos tokens, menor perplexity o menos respuestas en una lengua no prueban ausencia de representaciones internas.
- Un test finito no descarta recuperación futura, traducción indirecta o reaprendizaje.
- Mantener benchmarks generales no garantiza conservar casos raros, seguridad ni tool calling.
- El bloqueo 429 impidió auditar palabra por palabra los vídeos; por diseño, no sostienen claims técnicos.

## Glosario

- **BPE:** algoritmo que aprende fusiones frecuentes para formar subpalabras.
- **Tokenizer:** reglas y vocabulario que transforman texto en IDs y viceversa.
- **Embedding:** vector asociado a un token de entrada.
- **Cabeza de salida:** proyección que asigna puntuaciones al vocabulario.
- **Cobertura léxica:** posibilidad y eficiencia de representar cadenas.
- **Code-switching:** mezcla de lenguas dentro de un mismo contexto.
- **Vocabulary trimming:** eliminación de tokens y filas asociadas para comprimir.
- **Supresión conductual:** reducción observable de una conducta bajo pruebas definidas.
- **Unlearning aproximado:** intervención que reduce evidencia accesible del objetivo sin garantizar borrado total.
- **Retención:** capacidades que deben permanecer después de intervenir.
- **Reaprendizaje:** recuperación del objetivo mediante nuevos ejemplos o ajuste.
- **Safeguard:** control destinado a prevenir o manejar conductas dañinas.

## Recap

El tokenizer condiciona coste y acceso, pero no contiene por sí solo un idioma. Las capacidades lingüísticas combinan piezas léxicas, embeddings y representaciones parcialmente compartidas. Recortar vocabulario puede comprimir; especializar puede cambiar conducta; unlearning aproximado puede reducir asociaciones medidas. Ninguna de esas operaciones autoriza afirmar una purga perfecta.

La práctica correcta empieza con una auditoría léxica y continúa, por separado, con un protocolo de supresión, recuperación y retención. Siempre conserva rollback y safety. En Atlas, una conclusión pequeña y reproducible vale más que una promesa imposible de verificar.

## Fuentes

## Sources

[1] https://huggingface.co/ornith-ai/Ornith-1.0-9B — Ornith-1.0-9B model card y artefactos
[2] https://aclanthology.org/2022.naacl-main.293 — WECHSEL: Effective initialization of subword embeddings
[3] https://aclanthology.org/2023.findings-emnlp.981 — Efficient Multilingual Language Model Compression through Vocabulary Trimming
[4] https://arxiv.org/abs/2310.02238 — Who's Harry Potter? Approximate Unlearning in LLMs
[5] https://aclanthology.org/2024.acl-long.309 — Language-Specific Neurons
[6] https://aclanthology.org/2022.naacl-main.114 — Same Neurons, Different Languages
[7] https://www.youtube.com/watch?v=bP9V6cmfErQ — Fazl Barez: Unlearning in Large Language Models
[8] https://www.youtube.com/watch?v=zduSFxRajkE — Andrej Karpathy: Let's build the GPT Tokenizer