# Lección 04 — Dos memorias, dos cuantizaciones: pesos AWQ y caché KV
**Versión didáctica:** L4, basada en r3.2
**Duración estimada de audio:** 11–13 minutos
**Objetivo:** distinguir sin ambigüedad la cuantización *weight-only* AWQ de la cuantización de la caché KV, y diseñar una prueba reversible sin atribuir a upstream resultados obtenidos en un fork experimental.
**Estado:** guion interno; **no publicar**.
## Guion de audio
Imagina una cocina que atiende muchos pedidos. En la despensa están las recetas y los ingredientes base: eso representa los **pesos del modelo**. Sobre cada mesa quedan las notas del pedido en curso: qué pidió el cliente, qué se preparó y qué debe recordarse para continuar. Esas notas representan la **caché KV**. Ambas ocupan espacio, pero no son la misma cosa. Comprimir la despensa no encoge automáticamente las notas de las mesas. Esta distinción es la idea central de la lección.
Empecemos con AWQ. Las siglas vienen de *Activation-aware Weight Quantization*. La palabra “activation-aware” puede confundir: AWQ observa estadísticas de activaciones durante la calibración para decidir cómo proteger canales importantes, pero el artefacto W4A16 es **weight-only**. W4 significa pesos de cuatro bits; A16 significa activaciones de dieciséis bits. No significa pesos y activaciones a cuatro bits. Tampoco significa que todo el checkpoint quede uniformemente en INT4.
En una implementación real se cuantizan capas lineales seleccionadas y se guardan escalas y, según el esquema, puntos cero. Embeddings, normalizaciones, la cabeza de salida o módulos excluidos pueden conservar mayor precisión. Por eso el cálculo de cuatro bits por parámetro es sólo un suelo: faltan escalas, metadatos, alineación y tensores no cuantizados. La medición del artefacto manda.
AWQ tampoco poda capas, elimina expertos ni cambia la arquitectura. El paper reporta cerca de cuatro veces menos memoria de modelo en sus condiciones, no cuatro veces menos **VRAM total**. También viven activaciones, cachés, búferes y espacios de trabajo. Si contexto o concurrencia dominan el consumo, comprimir pesos puede no resolver el cuello de botella.
Ahora pasemos a la segunda mesa: la caché KV. Durante la atención, el motor conserva representaciones de claves y valores de los tokens ya procesados para no recalcular todo el prefijo en cada token nuevo. Esa memoria suele crecer con el número de tokens, las capas de atención, las cabezas KV, el tamaño de cada cabeza, el tipo de dato y el número de secuencias activas. En un servidor, el presupuesto también depende de páginas, bloques, padding, planificador y backend. Decir “FP8 usa la mitad que BF16” es una aproximación útil para la porción KV densa, no una garantía de duplicar el contexto o los usuarios.
Cuantizar la caché KV es una operación distinta de AWQ. Puede configurarse aunque los pesos sigan en BF16, y AWQ puede usarse dejando la KV en su precisión original. Son dos interruptores independientes:
- **Interruptor A, pesos:** BF16 frente a AWQ W4A16, GPTQ u otro esquema de pesos.
- **Interruptor B, estado de atención:** KV en BF16, FP8, INT8, INT4 u otro formato compatible.
Por tanto, que vLLM cargue un checkpoint AWQ no demuestra que el backend elegido soporte KV INT4. Y que un kernel cuantice KV no demuestra que sepa ejecutar los pesos AWQ de esa arquitectura. La palabra “INT4” puede aparecer en ambos lados, pero describe objetos, escalas y kernels diferentes.
En vLLM upstream auditado para r3.2 hay rutas de KV FP8 y formatos dinámicos por token y cabeza. Su disponibilidad depende del backend, GPU y restricciones del kernel. Que la CLI acepte un nombre no garantiza soporte en cualquier RTX ni más velocidad. Sintaxis, carga, rendimiento y calidad son preguntas separadas.
Hay además una precaución especial para arquitecturas híbridas como Qwen3.5. Sus capas de atención completa pueden usar KV, mientras otras capas mantienen un estado recurrente o GDN de naturaleza distinta. Cuantizar la KV de las capas de atención completa no equivale a cuantizar todo el estado del modelo. El estado recurrente puede conservar BF16, FP16 o FP32 y limitar el ahorro. Tampoco debemos trasladar automáticamente a Ornith un resultado visto en otro tamaño de Qwen, en Llama o en Mixtral.
Llegamos a la regla de evidencia. Supón que un fork experimental añade un kernel, acepta un flag y produce una mejora del treinta por ciento. La formulación correcta es: “En el fork X, commit Y, con el parche Z, sobre la GPU H y este workload, medimos treinta por ciento”. La formulación incorrecta es: “vLLM mejora treinta por ciento”. El repositorio upstream sólo hereda esa afirmación cuando el cambio está fusionado en un commit identificable y la medición se repite allí.
Una pull request abierta tampoco es upstream. Un branch de autor, un wheel privado, un parche local o una dependencia modificada siguen siendo experimento. Incluso después de fusionarse, un resultado antiguo del fork no se convierte mágicamente en resultado upstream: hay que repetirlo porque pudieron cambiar interfaces, kernels o defaults. Siempre registrar repositorio, commit, diff local, versión de CUDA, GPU, backend de atención y comando completo.
La calidad exige el mismo rigor. Una perplejidad cercana en otros modelos no prueba equivalencia funcional en Ornith ni cubre tools, JSON, código, seguridad o contexto largo. Si una prueba no encuentra regresión, se informa “no detectada en este conjunto”, nunca “calidad idéntica”.
La decisión práctica empieza por diagnosticar qué llena la VRAM. Si el modelo ni siquiera carga, la cuantización de pesos puede ser la primera palanca. Si el modelo carga pero falla al aumentar contexto o usuarios, la KV puede ser el problema. Si ambos pesan, se prueban por separado antes de combinarlos. Así sabemos qué cambio produjo cada efecto y evitamos celebrar un ahorro de pesos mientras la KV sigue imponiendo el mismo límite.
Cierra con esta imagen: AWQ comprime la biblioteca permanente; KV cuantizada comprime las notas temporales de cada conversación. Comparten la tarjeta, no el mecanismo. La ingeniería responsable nombra cada capa, fija la procedencia del código y mide en el sistema real.
## Apoyo visual
### Lámina 1 — El mapa de la VRAM
```text
VRAM TOTAL
├── Pesos del modelo ───── AWQ W4A16 actúa aquí
├── Caché KV por secuencia ─ KV FP8/INT8/INT4 actúa aquí
├── Estado recurrente/GDN ─ no es automáticamente KV
├── Activaciones
└── Workspaces, CUDA graphs y overhead
```
**Narración:** bajar una caja no reduce las demás. “Cuatro bits” debe ir acompañado del nombre de la caja.
### Lámina 2 — Matriz de experimentos
| Prueba | Pesos | KV | Pregunta principal |
|---|---|---|---|
| A, control | BF16 | BF16 | línea base |
| B | AWQ W4A16 | BF16 | efecto de cuantizar pesos |
| C | BF16 | FP8 o formato elegido | efecto de cuantizar KV |
| D | AWQ W4A16 | formato KV elegido | interacción de ambos |
**Narración:** A contra B aísla AWQ; A contra C aísla KV. D sólo se interpreta después.
### Lámina 3 — Escalera de evidencia
```text
idea → fork experimental → medición local → PR abierta
→ commit fusionado upstream → repetición en upstream fijado
```
No saltar peldaños. Cada cifra conserva la etiqueta del entorno donde nació.
## Práctica segura y reversible
**Propósito:** preparar un experimento, no lanzar una conversión ni publicar un checkpoint.
1. **Congela el control.** Conserva el checkpoint BF16 inmutable. Registra digest, tokenizer, configuración y plantilla de chat. Crea IDs separados para cualquier derivado AWQ o KV; nunca sobrescribas el original.
2. **Fija procedencia.** Anota repositorio y commit de vLLM. Si existe un fork, registra además remoto, commit y diff contra upstream. Etiqueta sus resultados como `FORK_EXPERIMENTAL`; no los mezcles en la tabla upstream.
3. **Verifica compatibilidad antes de medir.** Confirma que la herramienta puede producir AWQ para la arquitectura y que vLLM puede cargarlo sin fallback inesperado. Para KV, confirma dtype, GPU y backend de atención en esa versión exacta. No copies flags de otra versión.
4. **Ejecuta la matriz A–D en aislamiento.** Mismo hardware, versión, prompts, semilla, temperatura, límites y calentamiento. Empieza con A, luego B y C. Ejecuta D sólo si B y C funcionan por separado.
5. **Mide lo que importa.** Tamaño en disco, VRAM en reposo, pico de prefill, VRAM de decode, TTFT, tokens por segundo, contexto máximo y concurrencia. En arquitecturas híbridas separa, cuando sea posible, KV de atención completa y estado recurrente.
6. **Evalúa calidad pareada.** Usa un holdout congelado con código y tests, tool calls y validación JSON, razonamiento verificable, conversación, idioma, seguridad y prompts largos. Guarda salidas y errores, no sólo promedios.
7. **Aplica gates.** Aborta ante NaN, tensores faltantes, fallback no explicado, JSON inválido nuevo, tool call espuria o fallo crítico. Una mejora de memoria no compensa romper el contrato de salida.
8. **Rollback.** Cambia el alias de servicio al checkpoint BF16 y conserva los artefactos fallidos sólo como evidencia interna. No intentes “descuantizar” AWQ para recuperar exactamente los pesos originales.
## Pregunta de comprobación
Un servidor carga pesos AWQ W4A16 y se queda sin VRAM al subir de 8K a 64K de contexto. ¿Qué conclusión es válida?
A. AWQ falló porque debía comprimir también la KV.
B. La KV es un presupuesto separado; hay que medirla y probar su propia configuración compatible.
C. Cualquier flag INT4 del fork demuestra soporte upstream.
**Respuesta:** B. AWQ reduce pesos seleccionados; no promete reducir la caché KV. Un resultado del fork conserva su etiqueta hasta reproducirse en upstream fijado.
## Glosario
- **AWQ:** cuantización postentrenamiento consciente de activaciones, orientada a pesos.
- **W4A16:** pesos de cuatro bits y activaciones de dieciséis bits; no significa KV de cuatro bits.
- **Weight-only:** técnica que cuantiza pesos, no todas las memorias de inferencia.
- **Caché KV:** claves y valores guardados para reutilizar el contexto previo durante la generación.
- **Prefill:** procesamiento inicial del prompt antes de generar tokens.
- **Decode:** generación token a token posterior al prefill.
- **Backend de atención:** implementación o conjunto de kernels que ejecuta la atención.
- **Estado recurrente/GDN:** memoria interna de capas híbridas; no debe llamarse KV por conveniencia.
- **Upstream:** repositorio principal en un commit identificable.
- **Fork experimental:** copia con cambios no necesariamente fusionados ni soportados por upstream.
- **Holdout:** conjunto de evaluación reservado, no usado para calibrar.
- **Rollback:** retorno controlado al artefacto y configuración anteriores.
## Recapitulación
1. AWQ W4A16 es **weight-only**: reduce pesos seleccionados; no cuantiza por implicación activaciones, caché KV ni estado recurrente.
2. La caché KV es una memoria temporal separada que crece con contexto y concurrencia; tiene formatos, escalas, kernels y restricciones propios.
3. “INT4” sin objeto, backend, hardware y commit es una descripción incompleta.
4. En modelos híbridos, cuantizar KV puede tocar sólo capas de atención completa y dejar intacto el estado GDN/Mamba.
5. Los resultados de un fork experimental no son resultados de upstream. Deben etiquetarse y repetirse tras una fusión, sobre un commit fijado.
6. La práctica segura conserva BF16, separa artefactos, compara A–D, usa holdout pareado y permite rollback inmediato.
**Cierre de audio:** antes de celebrar una cifra, pregunta siempre: “¿qué memoria se cuantizó, con qué código, en qué commit y bajo qué prueba?”