# Lección 11 — Multimodalidad con Qwen3.5: de la imagen al vídeo, sin confundir evidencia

## Propósito de la lección

Hasta ahora hemos tratado al modelo principalmente como un sistema que recibe y produce texto. En esta lección añadimos imagen y vídeo con **Qwen3.5**, pero mantenemos la misma disciplina experimental: una salida convincente no demuestra que sea correcta, un vídeo de terceros no sustituye a la documentación y compartir arquitectura base no permite transferir capacidades entre modelos.

Al terminar podrás:

- distinguir una entrada multimodal de una simple descripción textual;
- diseñar pruebas de imagen y vídeo con un oráculo verificable;
- controlar resolución, muestreo de fotogramas y presupuesto de contexto;
- identificar alucinaciones visuales y pérdidas temporales;
- ejecutar una práctica sin exponer datos personales ni contenido sensible;
- separar la evidencia de la *model card* oficial del apoyo pedagógico comunitario.

> **Límite de atribución:** esta lección demuestra y evalúa multimodalidad de **Qwen3.5**. No atribuye visión, precisión visual ni comprensión de vídeo a Ornith. Cualquier afirmación sobre otro checkpoint exige evidencia y evaluación propias.

## 1. Qué significa “multimodal” aquí

La *model card* de `Qwen/Qwen3.5-122B-A10B` clasifica el modelo como un modelo causal de lenguaje con codificador visual. Documenta entradas de imagen y vídeo mediante una API compatible con OpenAI y presenta resultados reportados por el equipo en tareas de razonamiento visual, OCR, documentos, espacio, vídeo y agentes visuales. También declara un contexto nativo de 262.144 tokens, ampliable bajo configuraciones específicas. Estas son propiedades documentadas de ese checkpoint y resultados publicados por sus autores; no son mediciones realizadas en nuestro equipo.

Una imagen no entra como “píxeles mágicos”. El preprocesador la redimensiona y transforma en representaciones visuales que consumen presupuesto. Un vídeo agrega otra decisión: qué fotogramas conservar. Por eso, la longitud del clip, su resolución y los FPS de muestreo afectan memoria, latencia y cobertura. Más detalle puede ayudar, pero también puede provocar falta de memoria, exceder el contexto o reducir el número de momentos observados.

La tarjeta ofrece ejemplos explícitos con `image_url` y `video_url`. Para vídeo, documenta en vLLM un valor predeterminado de `fps=2` cuando el muestreo está activo y permite cambiarlo mediante `mm_processor_kwargs`. Esto no significa que dos FPS sean óptimos para todo. Una acción de medio segundo puede desaparecer; una conferencia casi estática puede no necesitar tantos fotogramas.

## 2. Tres separaciones que evitan conclusiones falsas

### Capacidad documentada frente a resultado local

Que la tarjeta admita imagen o vídeo demuestra una ruta soportada. No demuestra que tu versión del runtime, cuantización, GPU o plantilla de chat la conserve correctamente. Registra siempre modelo exacto, revisión, runtime, parámetros, archivo y hardware.

### Observación frente a inferencia

“Hay tres cajas visibles” es una observación comprobable. “La persona está robando” atribuye intención y puede ser falsa o dañina. Pide primero descripción literal, después inferencias claramente etiquetadas y, cuando el riesgo sea alto, revisión humana.

### Modelo evaluado frente a modelo relacionado

Una familia compartida, un nombre parecido o un proyector visual disponible no transfieren resultados automáticamente. En particular, esta lección no usa la tarjeta de Qwen3.5 para afirmar nada sobre la visión de Ornith. La unidad de evidencia es el checkpoint que realmente se documenta y prueba.

## 3. La demostración comunitaria: útil, pero secundaria

El tutorial comunitario “Optimizing Qwen 3.5 Vision SPEED AI Locally”, de Lukasz Gawenda, sirve como apoyo para visualizar problemas operativos: configuración de vLLM, límites de contexto, reducción de resolución, división de vídeo, solapamiento entre segmentos y concurrencia. Su transcripción fue auditada para la revisión r3.2.

No usamos sus cifras como benchmark. La demostración se ejecutó en hardware específico, no fue replicada por nosotros y el propio autor señala errores, valores atípicos y diferencias entre backends. Su papel es pedagógico: muestra qué variables observar y por qué el *chunking* puede ser necesario. Las afirmaciones sobre las funciones de Qwen3.5 se anclan en la *model card* oficial; cualquier cifra de rendimiento local debe medirse de nuevo.

## 4. Práctica segura: laboratorio de seis casos

Trabaja con `Qwen/Qwen3.5-4B` o con un endpoint Qwen3.5 autorizado. Usa únicamente material propio, sintético, de dominio público o con permiso explícito. Elimina metadatos de ubicación, matrículas, rostros, credenciales, pantallas privadas y nombres personales. No cargues expedientes médicos, documentos de identidad, menores ni imágenes íntimas. Si el servicio es remoto, confirma antes sus políticas de retención.

Crea una tabla con estas columnas: **caso, archivo, resolución o duración, FPS, contexto máximo, prompt, oráculo, respuesta, error, latencia y memoria pico**. El oráculo es la respuesta de referencia obtenida sin el modelo: conteo manual, texto transcrito por una persona o marcas temporales verificadas.

### Casos de imagen

1. **Conteo controlado.** Genera una imagen sintética de ocho figuras geométricas, con dos parcialmente superpuestas. Prueba a resolución original y a una versión reducida. Pregunta primero cuántas figuras son visibles y luego exige una lista por forma y color. El oráculo es el archivo de generación.

2. **OCR benigno.** Fotografía una nota creada para el ejercicio, sin datos reales, con cinco líneas y una fecha ficticia. Solicita transcripción literal, conservando saltos de línea. Compara carácter por carácter y registra sustituciones, omisiones y texto inventado.

3. **Gráfico verificable.** Construye un gráfico de barras con cuatro categorías y valores conocidos. Pide el valor máximo, la diferencia entre dos barras y una cita de los rótulos usados. El oráculo son los datos fuente, no tu impresión visual.

### Casos de vídeo

4. **Evento breve.** Graba objetos, no personas: una pelota cruza el cuadro durante menos de un segundo. Ejecuta el mismo prompt con `fps=0.5`, `1` y `2`. Comprueba si el evento queda muestreado. Una respuesta negativa no prueba ausencia; puede revelar un punto ciego de muestreo.

5. **Orden temporal.** Crea un clip donde aparecen, en secuencia, una taza, un libro y una llave. Pregunta el orden y solicita marcas de tiempo aproximadas. El oráculo es el guion de grabación. Repite con el clip completo y con segmentos solapados.

6. **Vídeo largo segmentado.** Une varios clips inocuos hasta superar el presupuesto práctico de una sola solicitud. Divide en fragmentos con diez segundos de solapamiento. Pide a cada fragmento hechos observables en JSON y realiza la síntesis en una segunda etapa. Verifica duplicados de las fronteras y conserva el ID del fragmento como cita.

Para vídeo, un cuerpo de solicitud compatible puede incluir:

```json
{
  "mm_processor_kwargs": {
    "fps": 1,
    "do_sample_frames": true
  }
}
```

El nombre y soporte de estos parámetros dependen del runtime. La tarjeta documenta esta vía para vLLM; no la copies a otro backend sin revisar su versión. Comienza con archivos pequeños, limita tamaño y duración, y usa un proceso aislado sin permisos innecesarios. Si aparece un error de memoria, reduce una variable a la vez: contexto, resolución, FPS o concurrencia. No ocultes el fallo recortando el ejemplo hasta que deje de representar la tarea.

## 5. Cómo pedir respuestas auditables

Un buen prompt separa hechos, incertidumbre y formato. Por ejemplo:

> Describe sólo lo visible. Devuelve `objetos`, `texto_literal`, `eventos` y `dudas`. Para cada evento de vídeo incluye intervalo temporal y fragmento de origen. Si el detalle no es legible o no fue muestreado, responde `no verificable`; no completes por contexto.

Después aplica validación externa. El JSON puede ser sintácticamente perfecto y contener hechos falsos. Para OCR calcula coincidencia con la referencia; para conteo, exactitud; para eventos, tolerancia temporal; para vídeo segmentado, cobertura y duplicados. Guarda también la respuesta cruda. Corregir manualmente una salida sin conservar el original destruye la trazabilidad.

No uses esta práctica para reconocimiento facial, diagnóstico, vigilancia, evaluación laboral, inferencia de emociones o decisiones legales. En esos dominios, incluso una salida probabilísticamente buena puede causar daño. La regla operativa es simple: cuanto mayor sea la consecuencia, menos autonomía debe tener el modelo.

## 6. Lectura de resultados

Compara cada cambio contra un control. Si aumentar FPS mejora el caso 4 pero causa falta de memoria en el 6, no existe un “mejor FPS” universal: existen configuraciones adecuadas para cargas concretas. Si bajar resolución mantiene el conteo pero destruye OCR pequeño, documenta esa frontera. Si los segmentos solapados repiten eventos, añade deduplicación; si los segmentos sin solape pierden acciones, aumenta el margen.

No conviertas seis casos en un benchmark general. Son pruebas de integración y diagnóstico. Una conclusión válida sería: “con este checkpoint, runtime y configuración, el evento breve no fue detectado a 0,5 FPS y sí apareció a 2 FPS en tres repeticiones”. Una conclusión inválida sería: “Qwen3.5 entiende perfectamente el vídeo”.

## Glosario

- **Multimodalidad:** procesamiento conjunto de más de un tipo de entrada, aquí texto, imagen y vídeo.
- **Codificador visual:** componente que transforma información visual en representaciones utilizables por el modelo.
- **FPS de muestreo:** número de fotogramas seleccionados por segundo para el análisis.
- **Contexto:** presupuesto total que comparten instrucciones, representaciones visuales, historial y salida.
- **Oráculo:** referencia independiente usada para decidir si una respuesta es correcta.
- **Chunking:** división de una entrada larga en fragmentos manejables.
- **Solapamiento:** repetición deliberada de una franja entre fragmentos para no perder eventos fronterizos.
- **OCR:** reconocimiento de texto presente en imágenes o vídeo.
- **Alucinación visual:** afirmación sobre contenido que no aparece o no puede verificarse en la entrada.
- **Model card:** documentación publicada junto al modelo sobre arquitectura, uso, evaluación y límites.

## Recapitulación

Qwen3.5 documenta una ruta nativa para texto, imagen y vídeo, además de controles de muestreo en su ejemplo de vLLM. Esa tarjeta es la evidencia técnica principal de la lección. La demostración comunitaria ayuda a entender resolución, contexto, segmentación y concurrencia, pero no aporta cifras transferibles.

La práctica correcta fija un checkpoint, registra configuración y utiliza un oráculo. En imagen, resolución y legibilidad cambian el resultado. En vídeo, FPS, duración, fragmentación y solapamiento determinan qué llega a observarse. Seguridad significa usar material autorizado, minimizar datos, evitar inferencias sensibles y mantener revisión humana.

Y la frontera epistemológica queda explícita: evaluar Qwen3.5 no evalúa Ornith. Cada modelo debe demostrar sus capacidades con su propia documentación, su propio artefacto y pruebas reproducibles.

## Fuentes

1. Qwen Team, *Qwen3.5-122B-A10B — Model Card*: https://huggingface.co/Qwen/Qwen3.5-122B-A10B
2. Qwen Team, *Qwen3.5-4B — Model Card*: https://huggingface.co/Qwen/Qwen3.5-4B
3. Lukasz Gawenda, *Optimizing Qwen 3.5 Vision SPEED AI Locally* (apoyo comunitario, no benchmark): https://www.youtube.com/watch?v=BxDfOPcak5k
