# Lección 8 — Destilación maestro→alumno con acceso a logits
## Ficha de la lección
- **Duración objetivo:** 12 minutos.
- **Nivel:** intermedio–avanzado.
- **Modalidad permitida:** destilación *white-box* con acceso a logits o distribuciones de salida del maestro.
- **Fuera de alcance:** cadenas de pensamiento privadas, estados internos ocultos, explicaciones secretas del maestro y recetas *black-box* basadas únicamente en textos sintéticos.
- **Resultado esperado:** diseñar un experimento pequeño, controlado y auditable que compare un alumno base, un alumno con SFT y un alumno destilado con logits.
## Objetivos de aprendizaje
Al terminar podrás explicar qué aportan los logits, distinguir KL directa de KL inversa y redactar una tarjeta experimental con hipótesis, controles, métricas y criterios de parada.
## 1. Apertura: comprimir comportamiento, no copiar pensamientos
Imagina dos modelos ante el mismo prefijo: «La herramienta adecuada para consultar el clima es…». El maestro asigna probabilidades a todo el vocabulario. Quizá `weather_api` recibe 0,72; `search_web`, 0,18; `calculator`, 0,01; y el resto comparte 0,09. Una etiqueta dura conservaría sólo `weather_api`. Los logits conservan además que existe una segunda opción plausible y que otras son incompatibles con el estado.
Ésa es la señal que estudiaremos. El alumno no necesita ver una explicación interna del maestro. Recibe el mismo contexto observable y aprende de la distribución de salida del maestro. La frontera ética y técnica es explícita: **logits sí; cadena de pensamiento privada no**. Si el maestro produce una acción estructurada, la supervisión se aplica a los tokens de esa acción, no a un monólogo oculto.
## 2. Qué significa *white-box* en esta lección
Llamaremos maestro a una red fija con distribución condicional `p(y_t | x, y_<t)` y alumno a una red entrenable con distribución `qθ(y_t | x, y_<t)`. Tener acceso *white-box* significa poder ejecutar el maestro durante la preparación o el entrenamiento y leer sus logits antes del muestreo. Después se aplica la misma máscara de vocabulario, se normaliza con *softmax* y se obtiene una distribución comparable.
Esto impone requisitos prácticos:
1. **Vocabulario compatible.** Lo más limpio es compartir tokenizador; cualquier alineación alternativa debe validarse.
2. **Contexto idéntico.** Plantilla, mensajes, herramientas, orden y truncamiento deben coincidir.
3. **Versiones congeladas.** Se registran checkpoint, revisión, dtype, temperatura, semilla y normalización.
4. **Sin fuga privada.** Se guardan prompts, salidas observables y logits autorizados, nunca razonamientos internos.
5. **Maestro fijo.** Sus pesos y elementos estocásticos permanecen controlados.
MiniLLM investiga precisamente destilación de LLM con acceso a la distribución de salida del maestro, y contrasta SFT, KD por token y destilación por secuencia con un objetivo *on-policy* basado en KL inversa.[1]
## 3. Dos direcciones de KL, dos comportamientos
La divergencia KL no es simétrica. En una formulación simplificada por token, la KD tradicional minimiza:
`KL(p || qθ) = Σ_v p(v) log[p(v) / qθ(v)]`
La expectativa parte del maestro. Penaliza al alumno cuando deja sin cobertura regiones donde el maestro asigna masa. Esto puede ser útil si el alumno tiene capacidad suficiente, pero en generación abierta el maestro puede repartir probabilidad entre muchas continuaciones plausibles. Obligar a un alumno pequeño a cubrirlas todas puede empujarlo a regiones intermedias de baja calidad.
MiniLLM propone minimizar la dirección inversa:
`KL(qθ || p) = Σ_v qθ(v) log[qθ(v) / p(v)]`
Aquí el alumno genera bajo su propia política y recibe señal sobre cuánto prefiere el maestro esas decisiones. El efecto buscado es concentrarse en modos fuertes que sí puede representar. El trabajo deriva un entrenamiento *on-policy* y añade descomposición de un paso, muestreo mezclado maestro–alumno y normalización por longitud para reducir varianza, degeneración y sesgo hacia respuestas demasiado cortas.[1]
No conviertas esa diferencia en un dogma. KL directa e inversa deben ser brazos experimentales. La primera favorece cobertura; la segunda tiende a buscar modos. El resultado depende del dominio, la brecha de capacidad, el tokenizador y la métrica. Además, una temperatura `T` modifica la suavidad: se comparan `softmax(z_teacher/T)` y `softmax(z_student/T)`, normalmente reescalando la pérdida por `T²`. Temperatura, peso de KD y `top-k` son hiperparámetros, no detalles invisibles.
## 4. Flujo de entrenamiento seguro y auditable
Primero se prepara un alumno inicial con SFT sobre datos autorizados. Ese punto de partida evita pedir a una política débil que explore desde cero. Después, para cada prompt, el alumno produce prefijos observables y el maestro puntúa el siguiente token sobre esos mismos prefijos. La pérdida combina señal destilada con una pérdida supervisada o de lenguaje que reduzca el olvido.
Una forma mínima es:
`L_total = λKD · L_KD + λSFT · L_SFT + λret · L_retención`
`L_KD` puede ser KL directa o inversa. `L_SFT` conserva la tarea objetivo y `L_retención` se calcula en un corpus separado de capacidades generales. Los coeficientes se fijan antes de mirar el test. Si almacenar el vocabulario completo es inviable, puede evaluarse `top-k` más una cubeta de masa residual, pero esa aproximación debe medirse contra logits completos en una muestra pequeña.
El repositorio oficial publica código, scripts y checkpoints para GPT-2, OPT y LLaMA. Su reproducción usa infraestructura distribuida y modificaciones de `transformers`; es referencia de implementación, no receta universal.[2]
## 5. Vídeo: contexto y límite de evidencia
El vídeo canónico **“LLM Pruning and Distillation in Practice: The Minitron Approach”** se usa sólo como contexto visual para situar destilación y compresión dentro de un flujo práctico.[3] Su clasificación en la base r3.2 es `contexto_anecdotico`. No sustenta cifras, compatibilidad con Ornith ni resultados de esta lección. Tampoco autoriza a mezclar poda con destilación como si fueran el mismo tratamiento. Toda afirmación técnica central se ancla en el artículo y el código de MiniLLM.
## 6. Práctica — Diseñar, no ejecutar, un experimento maestro→alumno
### Pregunta e hipótesis
Formula una pregunta falsable: «¿La destilación con logits mejora la exactitud de selección de herramienta y la calibración del alumno sin aumentar su tasa de formato inválido ni degradar retención general?». Hipótesis: con presupuesto de tokens y datos constante, KD superará a SFT en exactitud y NLL; KL inversa reducirá errores graves, aunque podría perder diversidad.
### Brazos obligatorios
- **A — Base:** checkpoint del alumno sin adaptación.
- **B — SFT:** mismos prompts y respuestas autorizadas, sin logits.
- **C — KD directa:** inicialización, pasos y datos iguales a B; añade `KL(p||q)`.
- **D — KD inversa *on-policy*:** misma inicialización y presupuesto; usa prefijos del alumno y logits del maestro.
No cambies a la vez arquitectura, cuantización, dataset o plantilla. Si D necesita más cómputo, reporta tanto calidad a pasos iguales como calidad a coste total igual.
### Datos y particiones
Construye conjuntos disjuntos por tarea, no por fila aleatoria, para reducir fuga de plantillas. Usa entrenamiento, validación, test interno y un test de desplazamiento. Cada ejemplo debe contener prompt, contexto visible, conjunto de herramientas, acción esperada, argumentos y oráculo ejecutable. Elimina cualquier campo de razonamiento privado. Congela el test antes del primer entrenamiento y publica sólo estadísticas, hashes y licencias si los datos no pueden redistribuirse.
### Variables y registro
Registra identificadores exactos de maestro y alumno, tokenizer, plantilla, longitud máxima, dtype, optimizador, tasa de aprendizaje, `λ`, temperatura, `top-k`, semilla, lotes, acumulación, pasos y hardware. Mide tokens leídos por ambos modelos, horas GPU y tamaño máximo de memoria. Ejecuta al menos tres semillas; una única corrida no separa método de azar.
### Métricas
La métrica primaria será **éxito ejecutable de tarea**. Añade exactitud de herramienta, exactitud de argumentos, JSON válido, NLL, Brier o ECE para calibración, longitud, diversidad, latencia, memoria y coste. Para retención, usa un conjunto general independiente. Reporta media, dispersión e intervalos por *bootstrap*. Incluye una tabla de fallos: herramienta inexistente, argumentos inválidos, negativa correcta, repetición, respuesta vacía y exceso de longitud.
### Ablaciones y decisión
Ablaciona `T ∈ {1, 2, 4}`, `λKD`, logits completos frente a `top-k`, y presencia de `L_retención`. Compara siempre contra B. Define antes de ejecutar: aceptar KD sólo si mejora la métrica primaria más allá del intervalo de incertidumbre, no empeora formato ni seguridad por encima del umbral acordado y ofrece una ventaja de coste de inferencia medible. Detén una corrida si aparecen pérdidas no finitas, colapso de longitud, repetición sostenida o divergencia entre entrenamiento y validación.
### Entregable: tarjeta *white-box*
Completa una página con: pregunta; maestro/alumno; derecho de acceso a logits; tokenizador; datos y licencias; exclusión de CoT; brazos; pérdidas; métricas; semillas; presupuesto; criterios de parada; riesgos; resultado; decisión. Si falta acceso real a logits, la tarjeta se marca **no ejecutable**: no se sustituye silenciosamente por textos generados.
## 7. Errores frecuentes
- Comparar logits producidos con contextos o tokenizadores distintos.
- Llamar destilación *white-box* a entrenar sólo con respuestas del maestro.
- Evaluar con similitud textual cuando importa ejecutar una herramienta.
- Elegir temperatura o checkpoint usando el test.
- Declarar victoria con una semilla o sin igualar presupuesto.
- Guardar razonamiento privado «por si acaso».
- Atribuir a Ornith resultados obtenidos con GPT-2, OPT o LLaMA.
- Confundir un alumno más pequeño con un sistema automáticamente más rápido: hay que medir runtime real.
## Glosario
- **Logit:** puntuación no normalizada para un token antes de *softmax*.
- **Temperatura:** factor que suaviza o concentra una distribución de logits.
- **KD:** transferencia de conocimiento de un maestro fijo a un alumno entrenable.
- **White-box:** acceso autorizado a distribuciones de salida del maestro; aquí no incluye CoT privado.
- **KL directa:** `KL(p||q)`; enfatiza cobertura de la distribución maestra.
- **KL inversa:** `KL(q||p)`; favorece modos del maestro alcanzables por el alumno.
- **On-policy:** los prefijos o muestras provienen de la política actual del alumno.
- **Top-k:** conservación de los `k` tokens con mayor puntuación y posible masa residual.
- **Calibración:** correspondencia entre confianza predicha y frecuencia real de acierto.
- **Ablación:** experimento que retira o cambia un componente para aislar su efecto.
## Recapitulación
Destilar no es copiar una respuesta ni una mente. En esta lección significa alinear la distribución del alumno con logits observables de un maestro fijo, sobre el mismo contexto y sin cadenas de pensamiento privadas. MiniLLM muestra por qué la dirección de KL y el muestreo *on-policy* importan en generación abierta, pero sus resultados no se transfieren automáticamente a otra familia. La práctica correcta comienza con una hipótesis falsable, controles justos y datos sin fuga; continúa con métricas de tarea, calibración, retención y coste; y termina con una decisión predefinida. Si no hay logits, compatibilidad de tokenización o evaluación ejecutable, todavía no hay experimento *white-box*: sólo una idea pendiente.
## Sources
[1] https://arxiv.org/abs/2306.08543 — MiniLLM: Knowledge Distillation of Large Language Models
[2] https://github.com/microsoft/LMOps/tree/main/minillm — LMOps / MiniLLM (código oficial)
[3] https://www.youtube.com/watch?v=lrq1iF-2NJ8 — LLM Pruning and Distillation in Practice: The Minitron Approach