# Lección 12 — DFlash, decodificación especulativa y MTP: tres rutas que no deben confundirse
## Propósito
Al terminar esta lección podrás distinguir tres rutas de aceleración que suelen aparecer mezcladas en una misma conversación: la **decodificación especulativa con un modelo borrador convencional**, **DFlash** y **MTP** (*Multi-Token Prediction*). Comparten una intuición —proponer más de un token y dejar que el modelo objetivo verifique—, pero no son intercambiables. Cambian el artefacto auxiliar, el modo de proponer, los requisitos del modelo y del *runtime*, y el coste de memoria. Por eso deben evaluarse como ramas separadas frente a un mismo *baseline* autoregresivo.
Esta lección no asigna ninguna de esas capacidades a una familia concreta por semejanza arquitectónica, nombre de archivo o presencia aparente de una cabeza adicional. El soporte sólo existe cuando el checkpoint, su configuración y el motor lo documentan y cargan correctamente.
## 1. El cuello de botella que intentan atacar
En decodificación autoregresiva normal, el modelo objetivo genera un token, actualiza el estado y vuelve a ejecutar el siguiente paso. Esa dependencia secuencial limita cuánto trabajo puede agruparse, sobre todo con pocas solicitudes simultáneas y cargas restringidas por ancho de banda de memoria.
La decodificación especulativa añade dos fases. Primero, un **proponente** produce uno o varios candidatos baratos. Después, el modelo objetivo verifica esos candidatos en paralelo. Los aceptados avanzan la secuencia; ante un rechazo, el algoritmo corrige desde la distribución del objetivo. Implementado correctamente, este procedimiento busca conservar la distribución del modelo objetivo: acelera el camino de inferencia, no sustituye el criterio final del modelo.
“Sin pérdida” necesita precisión. La teoría y el muestreo por rechazo pueden preservar la distribución objetivo, pero una corrida concreta aún puede variar por precisión numérica, tamaño de lote, inestabilidad de *logprobs* o no determinismo. En modo codicioso, la igualdad token a token es una prueba útil; con muestreo, corresponde comparar distribuciones y métricas de calidad, no exigir textos idénticos.
## 2. Las tres rutas separadas
### Ruta A — Especulación con borrador convencional
Un modelo pequeño genera candidatos de manera autoregresiva; el modelo grande los verifica por bloques. La ganancia depende de un equilibrio: el borrador debe ser suficientemente barato y acertar con frecuencia. Si es lento, si propone demasiados tokens rechazados o si añade transferencias costosas, la verificación no compensa el trabajo adicional.
Esta ruta requiere normalmente un segundo checkpoint compatible, memoria para cargarlo y una integración explícita del motor. Permite experimentar con distintos borradores, pero esa flexibilidad amplía la matriz de versiones, tokenizadores, vocabularios y parámetros que hay que controlar.
### Ruta B — DFlash
DFlash es un proponente externo y especializado basado en **difusión por bloques**. En vez de redactar el bloque candidato token por token, produce candidatos en paralelo, en un solo paso de avance según la formulación del artículo, condicionado por características de contexto extraídas del modelo objetivo. El objetivo continúa verificando y conserva la autoridad sobre la salida.
El artículo de DFlash informa aceleraciones superiores a 6× en sus experimentos y hasta 2,5× más *speedup* que EAGLE-3. Son resultados de los autores, bajo sus modelos, tareas, hardware y configuraciones; no constituyen una promesa para otro servidor. El repositorio público enumera checkpoints y *backends* concretos. Que DFlash sea una técnica general no implica que exista un borrador entrenado para cualquier checkpoint ni que toda versión estable del motor lo soporte.
DFlash tampoco es sinónimo de “decodificación especulativa”: es una implementación particular dentro de esa familia. Su distintivo es cómo genera el bloque borrador; su coste incluye cargar el artefacto auxiliar, obtener el contexto necesario y ejecutar la verificación.
### Ruta C — MTP nativo
MTP permite que un modelo preparado para ello prediga posiciones futuras adicionales. En la ruta documentada por vLLM, el objetivo incorpora capacidad MTP nativa y no se suministra un borrador genérico separado; el motor usa esa capacidad como proponente especulativo. El número de tokens especulativos controla la profundidad, y empezar con uno es una referencia prudente.
MTP exige coincidencia entre tres capas: arquitectura/checkpoint con componentes MTP, metadatos correctos e implementación compatible en el motor. Una clave en `config.json`, un nombre de tensor o un archivo auxiliar, observados aisladamente, no demuestran que la ruta esté disponible. Tampoco debe forzarse un asistente MTP por la ruta de borrador genérico cuando la documentación del motor prescribe `method: "mtp"`.
## 3. Mapa operativo
```mermaid
flowchart TD
P[Prompt y parámetros fijados] --> B[Baseline autoregresivo]
P --> S{Elegir una sola ruta}
S --> A[Borrador convencional\npropuesta autoregresiva]
S --> D[DFlash\npropuesta paralela por difusión de bloque]
S --> M[MTP\ncapacidad nativa compatible]
A --> V[Verificación por el modelo objetivo]
D --> V
M --> V
V --> R[Aceptar candidatos válidos\ny corregir el primer rechazo]
B --> C[Comparación controlada]
R --> C
C --> Q{¿Mejora latencia o throughput\nsin degradar calidad ni estabilidad?}
```
El rombo “elegir una sola ruta” es metodológico. Activar DFlash y MTP a la vez impediría atribuir una mejora o una regresión. Primero se caracteriza cada rama contra el mismo baseline; sólo después, y si el *runtime* documenta composición segura, tendría sentido diseñar otro experimento.
## 4. Qué medir y por qué
**Rendimiento.** Registra tiempo hasta el primer token, latencia entre tokens, latencia extremo a extremo, tokens de salida por segundo y throughput agregado. Separa concurrencia 1 de cargas 4, 8 o 16: una optimización útil con baja QPS puede perder ventaja cuando el servidor ya agrupa muchas peticiones.
**Eficiencia especulativa.** Conserva tokens propuestos, tokens aceptados, longitud media aceptada y tasa de aceptación por posición. Un alto `tok/s` sin esas variables oculta si la mejora provino del algoritmo, de un lote diferente o de una salida más corta.
**Recursos.** Mide VRAM en reposo y pico, memoria del host, utilización de GPU y tiempo de calentamiento. El borrador puede reducir latencia y aun así volver inviable el despliegue por memoria o arranque.
**Calidad y corrección.** En modo codicioso, compara IDs de tokens, no sólo texto renderizado. Con muestreo, fija semilla cuando sea aplicable y ejecuta suficientes repeticiones. Para cargas agentivas, valida JSON, llamadas a herramientas, argumentos, `finish_reason` y tasa de tareas resueltas. Una aceleración que rompe el contrato de herramientas es una regresión.
## 5. Práctica guiada — Diseñar el benchmark, sin ejecutarlo
La práctica produce un protocolo reproducible; **no se lanzan servidores, no se descargan modelos y no se reportan resultados**.
1. **Congela el objetivo.** Anota identificador y revisión del checkpoint, hash de archivos, cuantización, tokenizer, plantilla de chat, versión del motor, commit o imagen de contenedor, driver, GPU y sistema operativo.
2. **Define cuatro celdas:** baseline; borrador convencional; DFlash; MTP. Marca `no compatible` cuando falte soporte documentado. No reemplaces esa ausencia con supuestos.
3. **Fija entradas.** Prepara 100 prompts estratificados: texto corto, contexto largo, código, JSON estructurado y uso de herramientas. Guarda sus hashes y límites de tokens.
4. **Fija muestreo.** Ejecutaría primero temperatura 0 para equivalencia y luego un perfil de producción con temperatura, `top_p`, semilla y penalizaciones explícitas.
5. **Controla el entorno.** Misma GPU, potencia, contexto máximo, cuantización de caché KV, *batching* y número de repeticiones. Incluye calentamiento separado y alterna el orden de las variantes para reducir sesgo térmico.
6. **Barre la carga.** Para cada ruta compatible, planifica concurrencias 1, 4, 8 y 16. En cada nivel conserva al menos 30 repeticiones o una duración fija suficiente.
7. **Barre profundidad con moderación.** Evalúa pocos valores de tokens especulativos —por ejemplo 1, 3 y 5— sin asumir que más siempre es mejor. DFlash debe usar tamaños de bloque admitidos por su checkpoint y backend.
8. **Define el registro.** Un JSONL por solicitud con configuración completa, tiempos, tokens, aceptación, memoria, errores y salida normalizada. Conserva logs de arranque que prueben qué método cargó el motor.
9. **Establece puertas.** Promoción sólo si reduce p50 y p95 o mejora throughput en la carga objetivo, no aumenta errores, conserva calidad dentro del margen acordado y cabe en el presupuesto de memoria.
10. **Planifica el análisis.** Reporta mediana, p95 e intervalo de confianza; separa prefill de decode. No mezcles modelos, longitudes de salida ni concurrencias en una única media.
Plantilla mínima:
```text
variante | método cargado | concurrencia | profundidad | aceptación
p50/p95 ms | tok/s salida | req/s | VRAM pico | calidad | errores
```
## 6. Fuentes y límites de evidencia
**Fuentes primarias.** El artículo *DFlash: Block Diffusion for Flash Speculative Decoding* define el método y presenta los experimentos de autores; el repositorio `z-lab/dflash` documenta checkpoints, instalación y comandos actuales. La documentación de vLLM delimita la ruta MTP, la configuración especulativa y las advertencias de reproducibilidad. Estas fuentes sustentan arquitectura, interfaz y afirmaciones atribuidas, pero no sustituyen una medición en tu hardware.
- Artículo DFlash: https://arxiv.org/abs/2602.06036
- Código y documentación DFlash: https://github.com/z-lab/dflash
- MTP en vLLM: https://docs.vllm.ai/en/latest/features/speculative_decoding/mtp/
- Decodificación especulativa en vLLM: https://docs.vllm.ai/en/latest/features/speculative_decoding/
**Vídeos de contexto.** La sesión “S30 | DFlash: Block Diffusion for Flash Speculative Decoding” aporta explicación técnica y discusión de autores, pero sus cifras deben rastrearse al artículo o reproducirse. “How Guessing Ahead Speeds Up a Language Model Without Changing a Word | DFlash” ayuda a visualizar una corrida, pero omite detalles suficientes de hardware y versión; no se usa como benchmark. Ambos son contexto anecdótico, no evidencia de compatibilidad universal ni base para atribuir capacidades a otro modelo.
## Glosario
- **Aceptación:** candidatos del proponente que el verificador conserva.
- **Baseline:** configuración autoregresiva sin acelerador especulativo.
- **Borrador o drafter:** componente barato que propone tokens candidatos.
- **DFlash:** borrador externo de difusión por bloques para propuesta paralela.
- **MTP:** capacidad de predicción de múltiples tokens integrada en arquitecturas compatibles.
- **Objetivo o target:** modelo cuya distribución y verificación gobiernan la salida.
- **Profundidad especulativa:** número máximo de tokens propuestos por paso.
- **QPS:** consultas por segundo; aproxima la carga concurrente.
- **Verificación:** evaluación paralela del bloque candidato por el objetivo.
## Recapitulación
La decodificación especulativa es el marco; borrador convencional, DFlash y MTP son rutas operativas distintas. DFlash paraleliza la propuesta mediante difusión por bloques y requiere un artefacto compatible. MTP depende de capacidad nativa reconocida por el motor. Ninguna etiqueta aislada demuestra soporte. El benchmark correcto conserva un baseline común, activa una sola ruta por vez y mide latencia, throughput, aceptación, memoria, calidad y estabilidad bajo varias concurrencias. Los artículos y la documentación establecen qué probar; sólo una medición reproducible decide qué desplegar.