# Ornith e ia-lab: investigación aplicada y laboratorios de código

23 de septiembre de 2026 · Anexo de investigación del manual de ia-lab. **Integrado en Atlas v4.7.** Dos subagentes de investigación trabajaron en paralelo; la coordinación revisó fuentes, transcripciones, ejemplos y pruebas.

## 1. Lo que encontramos que sí cambia el plan

### Hay material oficial más útil que la página del modelo

El [anuncio de Ornith 1.5](https://ornith.ai/ornith_1_5.html) describe aprendizaje mediante tareas, ejecución y recompensa. Eso no significa que nuestra instalación aprenda automáticamente de cada conversación. Para reproducir una mejora hacen falta datos, un verificador independiente, entrenamiento y evaluación separada.

[IterX-tutorials](https://github.com/ornith-ai/IterX-tutorials) ofrece ejemplos con tareas de código y evaluación, entre ellas ordenamiento, SQL y optimización CUDA. Es una referencia para diseñar ejercicios verificables; usa el servicio IterX y **no es el pipeline completo de entrenamiento local de Ornith**. Revisión de código consultada: `2b2a02dba82d915b75bdd5a60bc8835e53a34427`. No llamamos a ese servicio ni utilizamos llaves.

[CUDA-L2](https://github.com/ornith-ai/CUDA-L2) publicó kernels HGEMM específicos para RTX 3090. Vale la pena estudiarlo como laboratorio de rendimiento: validación numérica, calentamiento y comparación justa. **No es un parche que acelere automáticamente llama.cpp**; la integración sencilla con LLM aparece pendiente en su repositorio. Sus números son del autor, no mediciones nuestras. No se compiló ni ejecutó en ia-lab.

La organización [ornith-ai](https://github.com/ornith-ai) también publica [CUDA-L1](https://github.com/ornith-ai/CUDA-L1). En cambio, el árbol revisado de `Ornith-1`, commit `9c800446621ebad1172f517a1d0f9b683fb8615e`, tenía documentación, licencia y recursos gráficos, no una receta completa para volver a entrenar Ornith. No presentar su publicación como acceso a todo el entrenamiento original.

### No mezclar los modelos ni sus formatos

El [9B oficial](https://huggingface.co/ornith-ai/Ornith-1.5-9B) es denso; el [35B-A3B](https://huggingface.co/ornith-ai/Ornith-1.5-35B-A3B) es MoE. No se podan expertos inexistentes del 9B. La configuración pública incluye rutas multimodales, pero eso no demuestra que nuestro GGUF/servidor activo tenga visión habilitada.

El artefacto [Ollama 9B](https://ollama.com/library/ornith-1.5:9b) consultado muestra Q4_K_M y un proyector de visión. No es idéntico a nuestro perfil documentado Q4_K_L. Compararlos exige fijar pesos, plantilla, parámetros y backend.

### Sí encontramos los podados que recordabas

| Artefacto | Cambio observado/documentado | Precaución |
|---|---|---|
| [Ttimms REAP-50 BF16](https://huggingface.co/Ttimms/Ornith-1.5-35B-A3B-REAP-50-bf16) | 256 → 128 expertos; top-8; MTP retirado | BF16, GGUF y NVFP4 son salidas diferentes |
| [oxfrug REAP-20pct](https://huggingface.co/oxfrug/Ornith-1.5-35B-A3B-REAP-20pct) | 256 → 205; top-8; MTP conservado | No es GGUF ni un modelo que el autor prometa para 24 GB |
| [sleepyeldrazi REAP-20B](https://huggingface.co/sleepyeldrazi/Ornith-1.5-REAP-20B-A3B-GGUF) | 256 → 132; recuperación LoRA | “20B” significa parámetros, no 20% de poda |
| [mchen04 REAP192 MLX](https://huggingface.co/mchen04/Ornith-1.5-35B-A3B-REAP192-mxfp4-MLX) | 256 → 192, top-8 → top-7 | Apple/MLX; no una receta NVIDIA equivalente |

El [proyecto de Ttimms](https://github.com/t-timms/ornith-nvfp4) orienta su salida NVFP4 a Blackwell/SM120. **No trasladar su resultado a las 3090.** Los checkpoints se identificaron por tarjetas/configuraciones; no descargamos ni ejecutamos sus pesos. Detalle y revisiones en [el anexo MoE](moe-pruning.md) y [sus fuentes](sources-moe.json).

### QLoRA no debe copiarse a ciegas

La [guía específica de Unsloth para Qwen3.5](https://unsloth.ai/docs/models/qwen3.5/fine-tune) desaconseja actualmente QLoRA de 4 bits tanto para la variante densa como MoE. No significa que toda cuantización sea imposible: significa que no podemos tratar una receta genérica de BitsAndBytes como validada para Ornith. Nuestra primera propuesta es una prueba mínima LoRA BF16, sujeta a memoria libre y compatibilidad comprobada; **no ejecutada aún**.

## 2. Prueba concreta del formato de mensajes

Probamos el renderizado de la [plantilla oficial fijada a una revisión](https://huggingface.co/ornith-ai/Ornith-1.5-9B/blob/489cb97981b8654bcfcf30ce1f94ed1b62e07b53/chat_template.jinja), sin inferencia ni conexión al servidor.

| Caso | Resultado local |
|---|---|
| Usuario/assistant | Renderiza |
| System inicial | Renderiza |
| System seguido de developer | Error: rol inesperado |
| System después de otro turno | Error: system debe estar al inicio |
| Llamada y resultado de herramienta del ejemplo | Renderiza |

Esto es una **pista verificable de compatibilidad**, no una reproducción de OpenCode/Codex/Harness ni prueba de que el GGUF activo use esa plantilla. El reporte [template-audit.json](template-audit.json) conserva URL, hash y resultados. La siguiente comparación debe observar, sin secretos, qué roles realmente envía cada adaptador y qué plantilla aplica el servidor. No conviene entrenar para compensar un error de serialización.

Para repetir únicamente esta prueba de red pública y CPU, con `uv` instalado:

```sh
uv run --with jinja2==3.1.6 python audit_official_template.py
```

El script no usa la API privada, no envía tu historial y no prueba inferencia.

## 3. Empezar con código que ya corre

Descarga y descomprime el ZIP de esta entrega. Abre una terminal **dentro de la carpeta extraída**. Los primeros ejercicios requieren Python 3 y sólo la biblioteca estándar. No hace falta CUDA, descargar modelos ni tocar las sesiones existentes.

### Laboratorio A: maestro → alumno, con aprendizaje real en CPU

```sh
python3 toy-examples/distill_toy.py
```

Un maestro matemático fijo produce probabilidades. Un alumno de dos parámetros aprende a aproximarlas minimizando divergencia KL con temperatura. Hay 17 puntos de entrenamiento y 16 reservados sin solapamiento. En la ejecución registrada, KL del conjunto reservado bajó de **0.346826 a 0.008209**.

Abre el archivo y revisa `teacher`, `student`, `kl_bernoulli` y `train`; cambia `--temperature 2` y compara, sin cambiar el conjunto reservado. Es una optimización real, pero deliberadamente diminuta: **no es una destilación ni una mejora medida de Ornith**. Sirve para entender qué se aprende y qué se mide antes de usar una GPU.

### Laboratorio B: separar poda de cuantización

```sh
python3 toy-examples/prune_quantize_toy.py
```

Este ejemplo propio calcula contribuciones de tres expertos escalares, conserva dos, renormaliza el router y compara por separado poda, cuantización simétrica y ambas juntas. Muestra índices retenidos, pesos, códigos enteros, escala y error en puntos reservados. No implementa REAP completo, top-k de Ornith, empaquetado GGUF ni aceleración. Es una explicación ejecutable de por qué reducir memoria y conservar calidad son preguntas distintas.

### Laboratorio C: preparar respuestas del maestro para SFT

```sh
python3 training-examples/prepare_distill_dataset.py \
  --input training-examples/teacher_candidates.jsonl \
  --output-dir resultados-datos
```

Produce tres ejemplos sintéticos `train`, dos `eval` y un manifiesto. Rechaza IDs repetidos, contaminación por clave de tarea o prompt idéntico normalizado, campos conocidos de razonamiento y marcadores `<think>`. No sobrescribe una carpeta con contenido. Usa otro nombre al repetir.

**Límites:** `quality_pass` es una declaración del productor, no una ejecución automática de tests. El validador no detecta toda duplicación semántica ni todo contenido privado. Sólo prepara pares usuario/respuesta final; no verifica trayectorias completas de herramientas. Para datos reales, el productor debe ejecutar verificadores en un contenedor aislado y conservar resultados. Nunca ejecutar código generado dentro del servidor de producción.

Destilación por respuestas permite un maestro diferente. Destilación por logits necesita correspondencia de vocabulario/tokenización y acceso a distribuciones; igualdad de tamaño del vocabulario no basta. Consultar [TRL](https://huggingface.co/docs/trl/sft_trainer) y [el anexo de entrenamiento](training.md).

### Laboratorio D: preparar una prueba LoRA de un paso

El archivo `training-examples/train_lora_smoke.py` contiene carga local, selección de proyecciones de texto, LoRA, pérdida sólo sobre respuesta, backward, un paso del optimizador y guardado del adaptador. **La ruta GPU no se ha ejecutado.** Por defecto sólo inspecciona la configuración y los datos:

```sh
python3 training-examples/train_lora_smoke.py \
  --model-dir /RUTA/LOCAL/ORNiTH-9B-SAFETENSORS \
  --data resultados-datos/train.jsonl \
  --output resultados-lora-un-paso
```

Sustituye la ruta por el checkpoint local correcto; no por un GGUF. No asume que esté descargado. La ejecución efectiva requiere además `--execute`, el UUID exacto de una GPU reservada y el mismo UUID en `CUDA_VISIBLE_DEVICES`. Comprueba procesos, pero **eso no reserva la GPU de forma atómica**: hace falta coordinar el recurso antes. No elijas GPU0 por defecto.

Antes de ejecutar: fijar versiones compatibles de PyTorch, Transformers, PEFT y Accelerate en un entorno separado; registrar revisión/hashes del checkpoint; comprobar memoria; aceptar la revisión del script. El programa rechaza plantillas cuyo prefijo no coincida y ejemplos demasiado largos. Un paso finito sólo prueba una ruta de entrenamiento, no aprendizaje útil. Aún faltan recarga del adaptador, evaluación antes/después, estabilidad, memoria real y comparación con el agente.

No doy un comando de instalación universal de CUDA o Torch aquí: el manual de réplica documenta el entorno y una nueva prueba debe usar versiones fijadas, no reemplazar las del servidor.

### Laboratorio E: planificar 20%, 30% y 50% de expertos

```sh
python3 moe-examples/plan.py \
  moe-examples/fixtures/config-ornith-observed.json \
  --prune 0.20 --prune 0.30 --prune 0.50
```

Calcula candidatos de **205, 179 y 128** expertos por capa. El 30% es un experimento propuesto, no un checkpoint comunitario encontrado. La salida es `PLAN_ONLY`: no corta ni modifica tensores.

Para avanzar a pesos reales, estudiar [REAP](https://github.com/CerebrasResearch/reap), [la receta de llm-compressor](https://github.com/vllm-project/llm-compressor/tree/main/examples/reap_expert_pruning) y la implementación del autor de cada derivado. Deben coincidir arquitectura, nombres y formas de tensores, router, expertos compartidos, MTP y visión. Recargar y ejecutar un forward antes de cuantizar. No basta con cambiar `num_experts` en un JSON.

### Repetir toda la verificación segura

```sh
python3 verify_examples.py
```

Ejecuta **24 tests CPU** y ejemplos sintéticos; genera `verification.json`. La prueba LoRA incluida en este verificador usa una configuración ficticia y se queda en `PLAN_ONLY`. El verificador no invoca `--execute` ni carga pesos. La auditoría de plantilla es una ejecución separada porque necesita red/Jinja.

## 4. Vídeos en inglés, con relación al código

Se comprobaron título y canal de **9 vídeos únicos**. Recuperamos transcripciones públicas de dos y leímos los intervalos indicados; **no afirmamos haber visto completos los nueve ni inspeccionado sus fotogramas**. Los otros siete son candidatos por metadatos e índice del autor, pendientes de revisión técnica de contenido.

| Tema | Vídeo | Nivel de revisión |
|---|---|---|
| Destilación de agentes | [Hugging Face — Training Agents 2](https://www.youtube.com/watch?v=GZT_oNQnLV4&t=1100s) | Transcripción: 18:20–21:40 y 26:00–30:10; revisado código compañero |
| Concepto de destilación | [MIT — Lecture 9](https://www.youtube.com/watch?v=Ubj3QXv4rjw) | Transcripción: 0:00–2:30 y 5:00–7:50 |
| Poda I | [MIT — Lecture 3](https://www.youtube.com/watch?v=EjsB0WgIfUM) | Metadatos e índice oficial |
| Poda II | [MIT — Lecture 4](https://www.youtube.com/watch?v=upaZrpXkELc) | Metadatos e índice oficial |
| Cuantización I | [MIT — Lecture 5](https://www.youtube.com/watch?v=ymAzUz3qlIA) | Metadatos e índice oficial |
| Cuantización II | [MIT — Lecture 6](https://www.youtube.com/watch?v=wrcgWm_nUeE) | Metadatos e índice oficial |
| SFT de agente de código | [Hugging Face — Training Agents 1](https://www.youtube.com/watch?v=rNgUoH7Wbv8) | Metadatos e índice del autor |
| RL | [Hugging Face — Training Agents 3](https://www.youtube.com/watch?v=ztdTed5egrM) | Metadatos e índice del autor |
| Entornos/recompensas | [Hugging Face — Training Agents 4](https://www.youtube.com/watch?v=nJV3yUuz6DU) | Metadatos e índice del autor |

La [clase HF de destilación tiene scripts](https://huggingface.co/sergiopaniego/pi-mono-youtube-livestream-2-scripts). El tramo consultado diferencia respuestas del maestro, SFT y GKD; su ejemplo no demuestra compatibilidad directa con la clase multimodal de Ornith ni ajuste en una 3090. El [curso MIT](https://hanlab.mit.edu/courses/2024-fall-65940) enlaza laboratorios de poda y cuantización. Encontramos sus enlaces, pero no ejecutamos los notebooks. Los ejercicios pequeños de esta entrega son código propio, no una copia de las clases.

### Sobre el plugin/MCP para entender vídeos

Revisamos las herramientas instaladas y la búsqueda de plugins. No quedó identificado un MCP general de YouTube utilizable aquí. **Sí funcionó recuperar subtítulos públicos con `youtube-transcript-api`**, sin cuentas ni pagos. Leer la transcripción ayuda con la explicación verbal; no ve diagramas, pantallas ni código mostrado sin narración. Para esas partes hace falta acceso autorizado a fotogramas o materiales/notebooks del autor. No se instaló un plugin ni se intentó saltar bloqueos.

Registro de auditoría: [sources-videos.json](sources-videos.json). No se incluyen transcripciones completas en el ZIP.

## 5. Idiomas, datasets y pruebas que realmente necesitamos

“Quitar idiomas” necesita un objetivo medible: ¿menos memoria, preferencia por español o eliminar datos concretos? No son equivalentes. Quitar tokens puede romper texto, código y nombres; quitar expertos no demuestra olvido. La investigación sobre [routing multilingüe](https://arxiv.org/abs/2510.04694), [recorte de vocabulario](https://aclanthology.org/2023.findings-emnlp.981/) y [TOFU](https://arxiv.org/abs/2401.06121) sirve como referencia metodológica, no como receta validada de Ornith.

Propuesta: reservar español, inglés, mezcla de idiomas, JSON, identificadores, Unicode y problemas de código. Comparar utilidad y memoria antes/después. Para olvido de datos: añadir paráfrasis y recuperación adversarial, no sólo preguntar si “recuerda”. No seleccionar expertos por idioma basándose sólo en frecuencia de activación.

El [capítulo anterior de datasets del Atlas](https://v3.atlas.lomeli.io/laboratorio/datasets/) conserva el catálogo histórico: OpenCodeInstruct, SWE-Gym, SWE-smith, Code-Contests+, ToolACE y xLAM como líneas de entrenamiento; SWE-bench/SWE-PolyBench como evaluaciones reservadas. Es referencia de la entrega previa, no una reauditoría de licencias/filas en esta búsqueda. **Los datos no reparan un protocolo de tools roto.** Antes de descargar, revisar licencias, procedencia, duplicados y separación por tarea/repositorio; conservar los tests fuera del prompt.

## 6. Cómo se une a nuestro manual, sin volver a desordenar el Atlas

Este anexo complementa, no sustituye, el [manual de operación y réplica](https://v3.atlas.lomeli.io/operar-ia-lab/) y sus perfiles. La documentación de instalación es un registro previo: no se volvió a inventariar la VM, drivers, CUDA, contenedores o GPU en este turno.

La investigación de forks de la entrega previa está incluida como `Forks-llama-investigacion-previa.md`. TheTom/TurboQuant, ik_llama.cpp, cuantización de pesos, caché KV, offload y poda siguen siendo variables diferentes. Ninguno se instaló durante este barrido.

Orden propuesto para el laboratorio real:

1. Registrar estado y preservar el servicio `llama`; separar carpeta, entorno, puerto y GPU de pruebas.
2. Reproducir el contrato del adaptador: roles, template, herramientas, continuación, historial y SSE.
3. Ejecutar un baseline fijo de calidad, latencia, VRAM y errores.
4. Probar una sola modificación: adaptador LoRA, candidato podado o cuantización, no las tres a la vez.
5. Medir en tareas reservadas y con el cliente real; conservar el baseline y descartar regresiones.
6. La integración editorial conserva bibliotecas, audios, cursos anteriores y rutas; no implica aprobación de los experimentos GPU.

**Pendientes técnicos reales:** entrenamiento/recarga GPU de Ornith, evaluación de los checkpoints podados, benchmark CUDA-L2, lectura completa de los siete vídeos restantes, trazas actuales de los adaptadores. No se hicieron llamadas de pago, cambios de runtime, nuevas descargas de pesos ni gastos de voz.

## 7. Alcance y reproducibilidad

Las páginas del blog, Hub, Ollama y repositorios permitieron investigación. X devolvió **403**; no se atribuye lectura de sus publicaciones. No se investigó “todo internet” ni se cumplió una cuota artificial de posts. Las fuentes comunitarias no se convierten en evidencia local por estar publicadas.

Conservamos fuentes por área, revisión/hash de la plantilla, tests y código. El manifiesto SHA-256 del paquete permite comprobar los archivos; **integridad no demuestra veracidad técnica**. Las revisiones de repositorio fijan documentación, no verifican todos los pesos del modelo.
