Capítulo 7: Destilación, poda e idiomas: límites reales. En este capítulo aprenderás por qué reducir o suprimir capacidades exige pruebas más fuertes que una caída de benchmark.

Destilar, podar y eliminar un idioma suelen aparecer bajo la misma promesa: obtener un modelo más pequeño o más enfocado. Técnicamente son problemas distintos. La destilación entrena un estudiante para aproximar el comportamiento de un profesor. La poda retira estructura o pesos considerados menos necesarios. La supresión lingüística intenta cambiar una conducta transversal que atraviesa tokenizer, representaciones, conocimiento y seguridad. Confundirlas facilita conclusiones que los experimentos no sostienen.

La destilación clásica produce un estudiante autónomo. Puede aprender de logits, respuestas o trazas del modelo profesor. Para Ornith no hay una receta verificada que haya producido un estudiante general más pequeño conservando razonamiento, código, herramientas, contexto y capacidades multimodales. DFlash también usa destilación, pero su resultado es un drafter auxiliar para decodificación especulativa. No es un LLM autónomo ni una compresión general del target. En el entorno local, ese archivo está presente, apagado y no validado.

La poda estructurada busca ahorro real al retirar capas, canales, cabezas o dimensiones. Ornith-1.5-9B es denso. No tiene expertos que puedan eliminarse, así que la poda de expertos no aplica a este modelo. Los métodos publicados para otras familias ofrecen ideas, no una receta directa. Ornith alterna atención lineal y atención completa, e incluye visión y MTP. Una intervención que ignore esas interfaces puede romper formas tensoriales, estado recurrente, herramientas o generación larga.

Algunos precedentes muestran por qué hace falta recovery. Minitron combina ranking, poda y destilación; sus resultados fuertes consumen mucho entrenamiento posterior. ShortGPT puede estimar influencia de bloques con un diagnóstico barato, pero en modelos de tamaño parecido la eliminación agresiva dañó tareas generativas más que ciertas pruebas de opción múltiple. Una buena perplejidad o un promedio de selección múltiple no basta para aprobar un checkpoint podado.

La cuestión de los idiomas es todavía más delicada. Reducir la probabilidad de responder en una lengua no demuestra que el modelo dejó de entenderla. Puede conservar gramática, hechos y traducción, o recuperar la conducta mediante transliteración, cambio de idioma, ejemplos en contexto o un ajuste pequeño. Los trabajos sobre neuronas específicas muestran control de la salida en modelos concretos; no prueban borrado verificable de una lengua completa.

Tampoco existe un conjunto finito que represente todos los datos de un idioma. Los tokens se comparten con nombres, números, código y lenguas vecinas. Un hecho aprendido en español puede recuperarse en inglés. El texto dentro de una imagen puede reactivar rutas que una evaluación textual no cubrió. Sin procedencia completa del entrenamiento y sin un modelo de referencia reentrenado sin los datos objetivo, la afirmación de borrado fuerte queda fuera de alcance.

Por eso el objetivo aceptable debe llamarse por su nombre. Si una política reversible reduce la generación en un idioma bajo un protocolo definido, hablamos de supresión conductual. Si se ponen a cero unidades para estudiar causalidad, hablamos de ablación. Si se cambian asociaciones concretas, hablamos de edición. Ninguna de esas etiquetas implica que el conocimiento desapareció. Además, no se debe retirar safety ni usar una lengua como sustituto de una política de seguridad.

La procedencia ayuda a conservar estos límites. Fuente A reúne los estudios de poda, destilación y unlearning, y documenta que el 9B es denso. Fuente B coincide en que la poda Ornith y la eliminación de idiomas siguen siendo líneas experimentales, no resultados. Consenso conserva esa lectura conservadora, pero no aumenta el nivel de evidencia. El audio no vuelve una fuente evidencia local; una voz puede explicar una medición, pero no reemplaza sus hashes, comandos, modelos y resultados por ítem.

El baseline operativo permanece separado: llama.cpp sirve Ornith Q4_K_L con KV Q4, tres slots y sin mmproj externo. MTP no ha sido evaluado funcionalmente. AWQ W4A16 solo tiene una prueba cercana a 261K, sin concurrencia triple ni calidad equivalente demostrada. Las métricas históricas continúan pendientes de trazabilidad. Ninguna de estas observaciones valida destilación general, poda o supresión lingüística.

Un estudio seguro empezaría sin modificar pesos. Primero mapearía módulos, dependencias e invariantes. Después construiría baterías de retención para código, herramientas, JSON, español, inglés, contexto largo, multimodalidad y safety. La poda se ensayaría en copias desechables con rollback. Una investigación lingüística usaría datos públicos o sintéticos, mediría comprensión, generación y recuperación por separado, e incluiría transliteración, code-switching y ataques benignos de recuperación.

El gate final exige una curva completa entre ahorro y daño. Deben medirse tamaño, memoria y velocidad junto con calidad, estabilidad y capacidades retenidas. Si una técnica ahorra recursos pero oculta fallos raros, no hay evidencia suficiente para desplegarla. Los resultados negativos también se conservan: indican dónde no conviene insistir.

Confirmado hoy… Ornith-1.5-9B es denso, la poda de expertos no aplica, no existe un estudiante autónomo Ornith validado y la supresión de salida no equivale a borrar un idioma.

Falta demostrar… cualquier checkpoint Ornith podado con recovery, una destilación general a un estudiante menor y un protocolo robusto de supresión lingüística que preserve utilidad, idiomas vecinos y safety.

Siguiente capítulo… convertiremos estos límites en un plan de experimentos con baselines inmutables, cambios aislados y gates de calidad antes de cada avance.