# Ornith modular: evidencia y límites

Trabajo en ia-lab, 18 de septiembre de 2026. Este directorio contiene las
herramientas de medición y despliegue; no es una afirmación de aceptación final.

## Aislamiento

- GPU0: llama.cpp existente. Solo solicitudes de benchmark y consultas de estado.
- GPU1: experimentos SGLang; GPU2: experimentos vLLM.
- GPU3: sin trabajo ni servicio nuevo.
- Pesos originales preservados. Configuraciones de referencia copiadas antes de
  los experimentos. No se entrenan modelos ni se podan capacidades lingüísticas.
- Cada ensayo cambia una variable cuando es posible; los cambios simultáneos o
  correcciones de arranque quedan identificados y no prueban causalidad.

## Modelos y copias de texto

| Artefacto | Revisión de origen |
| --- | --- |
| ornith-ai/Ornith-1.5-9B | 489cb97981b8654bcfcf30ce1f94ed1b62e07b53 |
| cyankiwi/Ornith-1.5-9B-AWQ-INT4 | cacab98cede368fca72a795946ec26545c58bb6d |
| z-lab/Qwen3.5-9B-DFlash | 5fc3b3d474760f18c516db87d84c37edbfd3ede6 |
| Qwen/Qwen3.5-0.8B | 2fc06364715b967f1860aea9cf38778875588b17 |

La cuantización INT4 es de **terceros**, no una conversión propia. El nombre AWQ
no sustituye a su formato real compressed-tensors/pack-quantized, que determina
el cargador. Su tokenizer difiere del original; los ensayos posteriores usan
explícitamente el tokenizer original. Los ensayos anteriores se conservan como
evidencia experimental, no se mezclan silenciosamente.

`strip_vision.py` crea copias safetensors sin `model.visual.*`. Verifica SHA256
de cada tensor retenido mediante una segunda lectura independiente. Conserva
plantilla, tokenizer y configuración; añade la bandera nativa de solo texto.
Las adaptaciones de configuración de cada motor están en directorios separados.

Cada copia omite 912020960 bytes de visión (0,849 GiB). El original contiene
15 tensores MTP y conserva sus 486581248 bytes en un shard independiente; el
checkpoint INT4 de terceros no contiene esos tensores. Este ahorro de archivo
**no equivale** a ahorro medido de VRAM: un motor puede no haber cargado visión
o MTP en la referencia.

Se crearon además dos cuantizaciones propias, exclusivamente en CPU y sin
entrenamiento: INT8 W8A16 simétrica, grupos128, con LLMCompressor0.13.0 y
compressed-tensors0.18.0. `mlp-int8-text` cuantiza96 matrices MLP;
`full-int8-text` cuantiza249 matrices lineales, incluida la salida, y conserva
193 tensores sin cambios (embedding, normalizaciones, convoluciones, estados
no lineales y MTP). Cada manifiesto PTQ registra hashes, versiones y pesos
retenidos. Sus resultados se distinguen de la cuantización INT4 de terceros.

La variante INT8 completa ocupa aproximadamente9,86GiB de payload en disco;
los motores registraron9,55–9,57GiB de pesos cargados. Ninguna de estas cifras
incluye automáticamente caché, estado recurrente o auxiliares especulativos.

## Mediciones compartidas

- `quality.py`: cálculo, JSON por instrucciones, extracción, dos funciones con
  pruebas Python aisladas y llamada estructurada a herramienta.
- `bench.py`: SSE, calentamiento, entradas con semillas independientes,
  recuperación de tres claves al 5/50/95% del contexto, concurrencia 1/3,
  cinco repeticiones y muestreo de GPU. `--duration 1800` prolonga la prueba;
  `--task throughput --max-output 512` separa generación extensa de recuperación.
- `summarize.py`: agrupa únicamente datos observados. No promueve perfiles.
- `control/`: gateway con drenaje y controlador reversible; su suite prueba
  rollback y errores sin utilizar GPUs. La migración real se verifica aparte.

El presupuesto de contexto incluye entrada **y** reserva de salida. Se registran
tokens efectivos comunicados por el servidor, no solo una estimación local.
Enviar tres HTTP simultáneos no demuestra por sí solo tres contextos residentes:
también se comprueban capacidad de caché, límites del scheduler y actividad.

La velocidad entre primer y último evento SSE es una estimación: un evento
puede agrupar tokens. El informe distingue TTFT, generación y rendimiento total
incluyendo prefill. La VRAM muestreada incluye pesos, caché reservada y espacios
de trabajo; no se etiqueta como tamaño de pesos.

El cliente se endureció durante la auditoría: exige terminador SSE `[DONE]`,
`finish_reason` y uso de salida positivo; rechaza errores de streaming y evita
reutilizar carpetas de resultados. Seis pruebas CPU cubren estos casos y la
detección de claves ajenas a una solicitud. Los
resultados anteriores conservan su evidencia: en el snapshot auditado, las261
solicitudes tenían `finish_reason` y contadores positivos/coherentes. No es
posible reconstruir retroactivamente un terminador no registrado. Las ejecuciones
nuevas guardan `sse_done`, instantes monotónicos, SHA del prompt, valores esperados
y un manifiesto de versiones/SHA. Se buscan claves pertenecientes a las otras
solicitudes en el texto visible, además de validar las claves propias.

La demostración adicional de residencia usa salidas forzadas para mantener
solicitudes activas: exige solapamiento tras los tres primeros tokens y ocupación
KV activa suficiente. Se separa de las pruebas de calidad; forzar `ignore_eos`
no demuestra calidad ni formato correcto de la respuesta.

## Criterio de calidad

La referencia llama pasó multiply, arithmetic, square, sum_list y tool_call.
Falló JSON estricto/extract en la primera batería. Los candidatos deben mantener
todos los casos que pasa la referencia; un total global igual de aciertos no
compensa perder un caso diferente. Las respuestas vacías, OOM, formato de
herramienta inválido o contaminación entre solicitudes impiden la promoción.
El benchmark de recuperación extrae el objeto JSON aun con cercas; la prueba
`json` de calidad exige JSON crudo. Son criterios distintos e intencionales.

Se verificó sin generación que `/apply-template` de llama y el tokenizer original
HF producen exactamente el mismo prompt sin razonamiento para la multiplicación.
Su diferencia de respuesta no se atribuye a una suposición sobre thinking.

“Sin regresión observada” solo se refiere a esta batería pequeña, no a
equivalencia universal. Una configuración experimental que funciona o cabe
en memoria no se considera automáticamente apta para uso normal.

## Memoria de contexto: límite analítico

Ornith tiene ocho capas de atención completa, cuatro cabezas KV y dimensión256.
La atención KV BF16 consume 32768 bytes por token; 3 x262144 necesita24 GiB
**solo en KV de atención**, antes de pesos, estado recurrente o CUDA graphs.
FP8/INT8 representan aproximadamente12 GiB y4 bits6 GiB más escalas/metadatos.
El estado recurrente de las otras24 capas se contabiliza por separado; una
caché KV de4 bits no implica estado recurrente de4 bits.

Estas cifras son límites calculados, no una prueba de que un perfil funciona.
Los kernels y la calidad deben medirse en las RTX3090 reales.

Además, SGLang fp4_mx_block16 crea buffers temporales BF16 al descomprimir
la caché. Se observaron OOM tanto durante captura de CUDA graphs como durante
una solicitud con una reserva de280K tokens. El tamaño teórico del pool por sí
solo no expresa la memoria necesaria para atender todas las rutas de inferencia.

## Referencia GGUF

El archivo existente coincide por SHA256 con el artefacto Q4_K_L de
`bartowski/Ornith-1.5-9B-GGUF`, revisión1fc60d6805eaa18bbed4088391db9336eb9581c4.
Su card refiere al modelo Ornith original, pero no identifica el commit exacto
de los pesos fuente. No se afirma identidad de revisión con el HF local.
La cuantización es mixta e imatrix: conserva embedding/salida en Q8_0 y algunos
tensores en Q6_K/F32. No es correcto describir todos sus pesos como INT4 uniforme.
