# Ornith-1.5 MoE: poda, cuantización y variantes comunitarias

**Corte de búsqueda:** 23-09-2026. **Alcance:** sólo lectura web y de metadatos/configs públicos; no se descargaron pesos, no se ejecutó GPU, no se entrenó ni se alteró producción. `work/atlas-v46/moe.md` ya contiene la explicación general; este informe corrige/actualiza la identidad de artefactos y conserva únicamente evidencia verificable.

## Resumen ejecutivo

- La identidad verificable detrás de “timmi/timmy 50%” es **`Ttimms/Ornith-1.5-35B-A3B-REAP-50-*`**, creado en [t-timms/ornith-nvfp4](https://github.com/t-timms/ornith-nvfp4). La variante BF16 declara 256→128 expertos, `top_k=8` y MTP desactivado; la NVFP4 añade GPTQ-NVFP4A16 y elimina la torre visual para el objetivo de 16 GB. Es un trabajo comunitario, no un checkpoint oficial de Ornith.
- Hay un checkpoint distinto, **`oxfrug/Ornith-1.5-35B-A3B-REAP-20pct`**, que declara 256→205 expertos por capa (51 eliminados), `top_k=8`, 40 capas, MTP conservado y router renormalizado. El propio card dice que no es GGUF, no es cuantización y no cabe como modelo de 24 GB. Es la coincidencia más fuerte para “otro 20%”.
- No aparece un `Ornith-1.5-35B-A3B-REAP-30%` identificable en la consulta pública de la API de Hub hecha en esta fecha. **30% queda como candidato experimental, no como modelo existente.** En 256 expertos, el plan entero más cercano es 179 sobrevivientes (77 eliminados = 30.08%); el planner offline lo calcula pero no modifica tensores.
- No confundir `sleepyeldrazi/Ornith-1.5-REAP-20B-A3B-GGUF`: “20B” es el tamaño total aproximado, no 20% de poda. Card: 256→132 expertos (48.4% menos), LoRA de recuperación, MTP/visión retirados y calibración específica de agente/código.
- Otro artefacto relevante es `mchen04/Ornith-1.5-35B-A3B-REAP192-mxfp4-MLX`: retiene 192/256 (25% eliminados), cambia `top_k` 8→7 y cuantiza mxfp4 para Apple Silicon. No es un 20/30% puro ni una comparación limpia de poda.

## Configuración comprobada del punto de partida

Los `config.json` públicos de `ornith-ai/Ornith-1.5-35B-A3B` y de los derivados se consultaron como JSON, sin pesos:

| Artefacto | arquitectura | expertos por capa | activos/token | capas | MTP | observación |
|---|---|---:|---:|---:|---:|---|
| [oficial 35B-A3B](https://huggingface.co/ornith-ai/Ornith-1.5-35B-A3B) | `Qwen3_5MoeForConditionalGeneration` | 256 | 8 | 40 | 1 | base MoE |
| [oficial 9B](https://huggingface.co/ornith-ai/Ornith-1.5-9B) | familia Qwen3.5 densa | — | — | — | — | el card la llama densa y estima ~19 GB BF16 |
| [Ttimms REAP-50 BF16](https://huggingface.co/Ttimms/Ornith-1.5-35B-A3B-REAP-50-bf16) | misma | 128 | 8 | 40 | 0 | 50% de expertos; fuente para quants |
| [oxfrug REAP-20pct](https://huggingface.co/oxfrug/Ornith-1.5-35B-A3B-REAP-20pct) | misma | 205 | 8 | 40 | 1 | 51 eliminados; no es 20B |
| [mchen04 REAP192](https://huggingface.co/mchen04/Ornith-1.5-35B-A3B-REAP192-mxfp4-MLX) | misma | 192 | 7 | 40 | 1 | 25% de expertos + top-k modificado |

El 9B no es “el mismo MoE pequeño”: es un baseline denso. En el 35B-A3B, “A3B” no dice que el checkpoint ocupe 3B: los expertos residentes siguen representando el costo de almacenamiento; aproximadamente 3B es la ruta activa por token.

## Identidad y procedencia de las variantes

### `Ttimms`: REAP-50, varias salidas

El [repositorio `t-timms/ornith-nvfp4`](https://github.com/t-timms/ornith-nvfp4) documenta una cadena reproducible sobre el base oficial:

```text
Ornith-1.5-35B-A3B
  -> REAP 50% (256 -> 128)
  -> strip MTP (1 -> 0)
  -> strip vision para la variante text-only
  -> GPTQ-NVFP4A16 (vLLM/SM120)       [sólo la salida NVFP4]
```

El mismo repositorio enlaza tres familias: [BF16 podado](https://huggingface.co/Ttimms/Ornith-1.5-35B-A3B-REAP-50-bf16), [NVFP4A16](https://huggingface.co/Ttimms/Ornith-1.5-35B-A3B-REAP-50-NVFP4A16) y [GGUF](https://huggingface.co/Ttimms/Ornith-1.5-35B-A3B-REAP-50-GGUF). El BF16 conserva la torre visual según su card; la NVFP4 es text-only y está orientada a 16 GB. Sus evaluaciones de código/agente son resultados del autor bajo su propio vLLM, harness y parches; no son mediciones de este laboratorio ni deben transferirse a BF16/GGUF o al 9B.

La config pública del BF16 observado fue: `num_experts=128`, `num_experts_per_tok=8`, `mtp_num_hidden_layers=0`, `vocab_size=248320`. El card declara además que el router se renormaliza sobre los supervivientes. Cambiar una sola cifra en `config.json` no implementa una poda: los tensores de `gate/up/down` y el router deben tener shapes coherentes, y hay que recargar y hacer un forward.

### `oxfrug`: REAP-20pct

El [card de `oxfrug`](https://huggingface.co/oxfrug/Ornith-1.5-35B-A3B-REAP-20pct) es explícito: 205 expertos/capa, 8 activos/token, ~56 GB BF16 en vez de ~67 GB, MTP, visión, embeddings y `lm_head` intactos; router renormalizado; Transformers ≥5.8.1. Su receta publicada usa 1,000 secuencias de longitud máxima 1,024, semilla 42, `prune_method=reap`, `renormalize_router_weights=true` y una mezcla de `evol-codealpaca` y `Mixture-of-Thoughts`; advierte que no incorpora trazas xlam/SWE-smith. El card no reporta un benchmark completo de SWE-bench/Terminal-Bench/GPQA para este checkpoint y prohíbe copiar los números del base. Sus instrucciones de serving no fueron probadas localmente aquí y no se presentan como receta validada.

### `sleepyeldrazi`: 20B total, no 20% de poda

El [card de `sleepyeldrazi`](https://huggingface.co/sleepyeldrazi/Ornith-1.5-REAP-20B-A3B-GGUF) declara 35.9B→20.3B parámetros, 256→132 expertos/capa (48.4% menos), `top_k=8`, una pasada LoRA de recuperación y cuantización GGUF con imatrix. La evaluación está orientada a agente/código/ML engineering; el autor marca como no probado lo multilingüe, traducción, prosa larga y conocimiento general. Es evidencia útil para separar capacidad general de utilidad de dominio, no una garantía para el agente del laboratorio.

### `mchen04`: 25% más top-k=7, Apple-only

El [card MLX de `mchen04`](https://huggingface.co/mchen04/Ornith-1.5-35B-A3B-REAP192-mxfp4-MLX) declara 256→192 (25% de expertos eliminados), calibración de ~295k tokens, `top_k` 8→7, mxfp4 en expertos/atención/embeddings y shared expert en 8-bit. Su resultado recomendado fue medido en un M4 mini de 24 GB; no es comparable directamente con RTX/llama.cpp. La reducción de `top_k` significa que tampoco es una prueba aislada de poda de expertos.

### Otros nombres que no deben mezclarse

`mlx-community/Ornith-1.5-35B-A3B-OptiQ-4bit-REAP-19B` también declara 128/256 expertos y 50% de poda, pero dice que Ornith no fue benchmarkeado por separado: publica el resultado de un Qwen3.6 sibling. Es un artefacto de referencia para una receta OptiQ, no evidencia de calidad de Ornith. `Atomic-Germ/Ornith-1.5-35B-A3B-REAP50-GGUF` parece un mirror posterior de REAP-50; no lo atribuiría a Ttimms sin comparar `README`, hashes y lineage.

## Qué es y qué no es “especialización por idioma”

La literatura de routing multilingüe muestra una mezcla de rutas: [Multilingual Routing in Mixture-of-Experts](https://arxiv.org/abs/2510.04694) encuentra mayor especificidad de idioma en capas tempranas/tardías y alineamiento entre idiomas en capas intermedias; sus intervenciones de routing mejoran tareas concretas, pero no etiquetan un experto como “español”. Esa evidencia es de otros modelos, no de Ornith.

Por tanto:

1. medir rutas y saliencia por idioma con corpus pareado y las mismas plantillas;
2. comparar frecuencia, masa del router, norma de activación y REAP como criterios;
3. hacer controles aleatorios y por dominio;
4. retener un conjunto de español/inglés, code-switching, JSON, URLs, nombres propios y caracteres no ASCII;
5. no declarar “experto español” por correlación de frecuencia, y no borrar expertos sólo porque reciban menos tokens en español.

Poda estructural y *unlearning* son objetivos distintos. Eliminar expertos/vocabulario puede reducir capacidad o salida observable, pero no demuestra que una lengua o datos hayan sido olvidados internamente. [Vocabulary Trimming](https://aclanthology.org/2023.findings-emnlp.981/) es evidencia de compresión de vocabulario en otros LMs multilingües, no una receta directa para Ornith. Para afirmar olvido se necesita una evaluación de olvido y utilidad; [TOFU](https://arxiv.org/abs/2401.06121) advierte que las baselines publicadas no alcanzan el comportamiento “como si nunca hubiera aprendido” en su tarea. En Ornith habría que añadir paráfrasis, transliteración, traducción inversa y pruebas de recuperación, además de la regresión normal.

## Receta segura para una futura escalera 20/30/50

No mezclar todas las variables en una sola corrida:

```text
base BF16
  ├─ baseline cuantizado (sin poda)
  ├─ REAP 20% -> reload/forward -> evaluación
  ├─ REAP 30% -> reload/forward -> evaluación
  ├─ REAP 50% -> reload/forward -> evaluación
  ├─ student podado + destilación/recuperación (si hace falta)
  └─ cuantización final de cada student aprobado
```

Para cada candidato registrar revision/hash, mezcla y hash de calibración, semilla, expertos antes/después, `top_k`, MTP/visión, dtype, backend, contexto, número de secuencias, PPL por idioma/dominio, tool-call válido, HumanEval/MBPP, agente real, tok/s p50/p95, VRAM/RAM y errores de recarga. El orden “poda→cuantización” ayuda a atribuir la pérdida, pero se puede explorar “cuantización→poda” como rama aparte; no presentar ambas como el mismo experimento.

## Artefacto offline incluido

[`moe-examples/`](moe-examples/) contiene un planner y cinco tests Python de biblioteca estándar. Usa un pequeño `config-ornith-observed.json`, calcula 205/179/128 supervivientes y etiqueta cada salida `PLAN_ONLY`; nunca abre pesos ni escribe checkpoints:

```sh
cd moe-examples
python3 -m unittest -v
python3 plan.py fixtures/config-ornith-observed.json --prune 0.20 --prune 0.30 --prune 0.50
```

## Límites de esta búsqueda

- La API pública de modelos de Hugging Face devolvió `oxfrug/...REAP-20pct`, las tres salidas `Ttimms/...REAP-50-*`, `mchen04/...REAP192`, OptiQ REAP-19B y otros nombres; no devolvió un artefacto Ornith REAP-30 al corte. Esto no prueba que nunca exista un fork privado, borrado o no indexado.
- No se verificaron pesos byte a byte ni se ejecutó una recarga; los SHA de repositorio en `sources-moe.json` sólo fijan la revisión pública consultada.
- Las cifras de calidad de las cards comunitarias son resultados de sus autores y condiciones. La evidencia del laboratorio debe volver a ejecutar los mismos prompts, harnesses y límites en la máquina destino.
