Atlas integrado · v4.7 · 23 septiembre 2026

Ornith-1.5 MoE: poda, cuantización y variantes comunitarias

Corte de búsqueda: 23-09-2026. Alcance: sólo lectura web y de metadatos/configs públicos; no se descargaron pesos, no se ejecutó GPU, no se entrenó ni se alteró producción. work/atlas-v46/moe.md ya contiene la explicación general; este informe corrige/actualiza la identidad de artefactos y conserva únicamente evidencia verificable.

Resumen ejecutivo

Configuración comprobada del punto de partida

Los config.json públicos de ornith-ai/Ornith-1.5-35B-A3B y de los derivados se consultaron como JSON, sin pesos:

Artefacto arquitectura expertos por capa activos/token capas MTP observación
oficial 35B-A3B Qwen3_5MoeForConditionalGeneration 256 8 40 1 base MoE
oficial 9B familia Qwen3.5 densa — — — — el card la llama densa y estima ~19 GB BF16
Ttimms REAP-50 BF16 misma 128 8 40 0 50% de expertos; fuente para quants
oxfrug REAP-20pct misma 205 8 40 1 51 eliminados; no es 20B
mchen04 REAP192 misma 192 7 40 1 25% de expertos + top-k modificado

El 9B no es “el mismo MoE pequeño”: es un baseline denso. En el 35B-A3B, “A3B” no dice que el checkpoint ocupe 3B: los expertos residentes siguen representando el costo de almacenamiento; aproximadamente 3B es la ruta activa por token.

Identidad y procedencia de las variantes

Ttimms: REAP-50, varias salidas

El repositorio t-timms/ornith-nvfp4 documenta una cadena reproducible sobre el base oficial:

Ornith-1.5-35B-A3B
  -> REAP 50% (256 -> 128)
  -> strip MTP (1 -> 0)
  -> strip vision para la variante text-only
  -> GPTQ-NVFP4A16 (vLLM/SM120)       [sólo la salida NVFP4]

El mismo repositorio enlaza tres familias: BF16 podado, NVFP4A16 y GGUF. El BF16 conserva la torre visual según su card; la NVFP4 es text-only y está orientada a 16 GB. Sus evaluaciones de código/agente son resultados del autor bajo su propio vLLM, harness y parches; no son mediciones de este laboratorio ni deben transferirse a BF16/GGUF o al 9B.

La config pública del BF16 observado fue: num_experts=128, num_experts_per_tok=8, mtp_num_hidden_layers=0, vocab_size=248320. El card declara además que el router se renormaliza sobre los supervivientes. Cambiar una sola cifra en config.json no implementa una poda: los tensores de gate/up/down y el router deben tener shapes coherentes, y hay que recargar y hacer un forward.

oxfrug: REAP-20pct

El card de oxfrug es explícito: 205 expertos/capa, 8 activos/token, ~56 GB BF16 en vez de ~67 GB, MTP, visión, embeddings y lm_head intactos; router renormalizado; Transformers ≥5.8.1. Su receta publicada usa 1,000 secuencias de longitud máxima 1,024, semilla 42, prune_method=reap, renormalize_router_weights=true y una mezcla de evol-codealpaca y Mixture-of-Thoughts; advierte que no incorpora trazas xlam/SWE-smith. El card no reporta un benchmark completo de SWE-bench/Terminal-Bench/GPQA para este checkpoint y prohíbe copiar los números del base. Sus instrucciones de serving no fueron probadas localmente aquí y no se presentan como receta validada.

sleepyeldrazi: 20B total, no 20% de poda

El card de sleepyeldrazi declara 35.9B→20.3B parámetros, 256→132 expertos/capa (48.4% menos), top_k=8, una pasada LoRA de recuperación y cuantización GGUF con imatrix. La evaluación está orientada a agente/código/ML engineering; el autor marca como no probado lo multilingüe, traducción, prosa larga y conocimiento general. Es evidencia útil para separar capacidad general de utilidad de dominio, no una garantía para el agente del laboratorio.

mchen04: 25% más top-k=7, Apple-only

El card MLX de mchen04 declara 256→192 (25% de expertos eliminados), calibración de ~295k tokens, top_k 8→7, mxfp4 en expertos/atención/embeddings y shared expert en 8-bit. Su resultado recomendado fue medido en un M4 mini de 24 GB; no es comparable directamente con RTX/llama.cpp. La reducción de top_k significa que tampoco es una prueba aislada de poda de expertos.

Otros nombres que no deben mezclarse

mlx-community/Ornith-1.5-35B-A3B-OptiQ-4bit-REAP-19B también declara 128/256 expertos y 50% de poda, pero dice que Ornith no fue benchmarkeado por separado: publica el resultado de un Qwen3.6 sibling. Es un artefacto de referencia para una receta OptiQ, no evidencia de calidad de Ornith. Atomic-Germ/Ornith-1.5-35B-A3B-REAP50-GGUF parece un mirror posterior de REAP-50; no lo atribuiría a Ttimms sin comparar README, hashes y lineage.

Qué es y qué no es “especialización por idioma”

La literatura de routing multilingüe muestra una mezcla de rutas: Multilingual Routing in Mixture-of-Experts encuentra mayor especificidad de idioma en capas tempranas/tardías y alineamiento entre idiomas en capas intermedias; sus intervenciones de routing mejoran tareas concretas, pero no etiquetan un experto como “español”. Esa evidencia es de otros modelos, no de Ornith.

Por tanto:

  1. medir rutas y saliencia por idioma con corpus pareado y las mismas plantillas;
  2. comparar frecuencia, masa del router, norma de activación y REAP como criterios;
  3. hacer controles aleatorios y por dominio;
  4. retener un conjunto de español/inglés, code-switching, JSON, URLs, nombres propios y caracteres no ASCII;
  5. no declarar “experto español” por correlación de frecuencia, y no borrar expertos sólo porque reciban menos tokens en español.

Poda estructural y unlearning son objetivos distintos. Eliminar expertos/vocabulario puede reducir capacidad o salida observable, pero no demuestra que una lengua o datos hayan sido olvidados internamente. Vocabulary Trimming es evidencia de compresión de vocabulario en otros LMs multilingües, no una receta directa para Ornith. Para afirmar olvido se necesita una evaluación de olvido y utilidad; TOFU advierte que las baselines publicadas no alcanzan el comportamiento “como si nunca hubiera aprendido” en su tarea. En Ornith habría que añadir paráfrasis, transliteración, traducción inversa y pruebas de recuperación, además de la regresión normal.

Receta segura para una futura escalera 20/30/50

No mezclar todas las variables en una sola corrida:

base BF16
  ├─ baseline cuantizado (sin poda)
  ├─ REAP 20% -> reload/forward -> evaluación
  ├─ REAP 30% -> reload/forward -> evaluación
  ├─ REAP 50% -> reload/forward -> evaluación
  ├─ student podado + destilación/recuperación (si hace falta)
  └─ cuantización final de cada student aprobado

Para cada candidato registrar revision/hash, mezcla y hash de calibración, semilla, expertos antes/después, top_k, MTP/visión, dtype, backend, contexto, número de secuencias, PPL por idioma/dominio, tool-call válido, HumanEval/MBPP, agente real, tok/s p50/p95, VRAM/RAM y errores de recarga. El orden “poda→cuantización” ayuda a atribuir la pérdida, pero se puede explorar “cuantización→poda” como rama aparte; no presentar ambas como el mismo experimento.

Artefacto offline incluido

moe-examples/ contiene un planner y cinco tests Python de biblioteca estándar. Usa un pequeño config-ornith-observed.json, calcula 205/179/128 supervivientes y etiqueta cada salida PLAN_ONLY; nunca abre pesos ni escribe checkpoints:

cd moe-examples
python3 -m unittest -v
python3 plan.py fixtures/config-ornith-observed.json --prune 0.20 --prune 0.30 --prune 0.50

Límites de esta búsqueda