Atlas integrado · v4.7 · 23 septiembre 2026
- Ornith-1.5 MoE: poda, cuantización y variantes comunitarias
Ornith-1.5 MoE: poda, cuantización y variantes comunitarias
Corte de búsqueda: 23-09-2026. Alcance: sólo lectura web y de metadatos/configs públicos; no se descargaron pesos, no se ejecutó GPU, no se entrenó ni se alteró producción. work/atlas-v46/moe.md ya contiene la explicación general; este informe corrige/actualiza la identidad de artefactos y conserva únicamente evidencia verificable.
Resumen ejecutivo
- La identidad verificable detrás de “timmi/timmy 50%” es
Ttimms/Ornith-1.5-35B-A3B-REAP-50-*, creado en t-timms/ornith-nvfp4. La variante BF16 declara 256→128 expertos,top_k=8y MTP desactivado; la NVFP4 añade GPTQ-NVFP4A16 y elimina la torre visual para el objetivo de 16 GB. Es un trabajo comunitario, no un checkpoint oficial de Ornith. - Hay un checkpoint distinto,
oxfrug/Ornith-1.5-35B-A3B-REAP-20pct, que declara 256→205 expertos por capa (51 eliminados),top_k=8, 40 capas, MTP conservado y router renormalizado. El propio card dice que no es GGUF, no es cuantización y no cabe como modelo de 24 GB. Es la coincidencia más fuerte para “otro 20%”. - No aparece un
Ornith-1.5-35B-A3B-REAP-30%identificable en la consulta pública de la API de Hub hecha en esta fecha. 30% queda como candidato experimental, no como modelo existente. En 256 expertos, el plan entero más cercano es 179 sobrevivientes (77 eliminados = 30.08%); el planner offline lo calcula pero no modifica tensores. - No confundir
sleepyeldrazi/Ornith-1.5-REAP-20B-A3B-GGUF: “20B” es el tamaño total aproximado, no 20% de poda. Card: 256→132 expertos (48.4% menos), LoRA de recuperación, MTP/visión retirados y calibración específica de agente/código. - Otro artefacto relevante es
mchen04/Ornith-1.5-35B-A3B-REAP192-mxfp4-MLX: retiene 192/256 (25% eliminados), cambiatop_k8→7 y cuantiza mxfp4 para Apple Silicon. No es un 20/30% puro ni una comparación limpia de poda.
Configuración comprobada del punto de partida
Los config.json públicos de ornith-ai/Ornith-1.5-35B-A3B y de los derivados se consultaron como JSON, sin pesos:
| Artefacto | arquitectura | expertos por capa | activos/token | capas | MTP | observación |
|---|---|---|---|---|---|---|
| oficial 35B-A3B | Qwen3_5MoeForConditionalGeneration |
256 | 8 | 40 | 1 | base MoE |
| oficial 9B | familia Qwen3.5 densa | — | — | — | — | el card la llama densa y estima ~19 GB BF16 |
| Ttimms REAP-50 BF16 | misma | 128 | 8 | 40 | 0 | 50% de expertos; fuente para quants |
| oxfrug REAP-20pct | misma | 205 | 8 | 40 | 1 | 51 eliminados; no es 20B |
| mchen04 REAP192 | misma | 192 | 7 | 40 | 1 | 25% de expertos + top-k modificado |
El 9B no es “el mismo MoE pequeño”: es un baseline denso. En el 35B-A3B, “A3B” no dice que el checkpoint ocupe 3B: los expertos residentes siguen representando el costo de almacenamiento; aproximadamente 3B es la ruta activa por token.
Identidad y procedencia de las variantes
Ttimms: REAP-50, varias salidas
El repositorio t-timms/ornith-nvfp4 documenta una cadena reproducible sobre el base oficial:
Ornith-1.5-35B-A3B
-> REAP 50% (256 -> 128)
-> strip MTP (1 -> 0)
-> strip vision para la variante text-only
-> GPTQ-NVFP4A16 (vLLM/SM120) [sólo la salida NVFP4]
El mismo repositorio enlaza tres familias: BF16 podado, NVFP4A16 y GGUF. El BF16 conserva la torre visual según su card; la NVFP4 es text-only y está orientada a 16 GB. Sus evaluaciones de código/agente son resultados del autor bajo su propio vLLM, harness y parches; no son mediciones de este laboratorio ni deben transferirse a BF16/GGUF o al 9B.
La config pública del BF16 observado fue: num_experts=128, num_experts_per_tok=8, mtp_num_hidden_layers=0, vocab_size=248320. El card declara además que el router se renormaliza sobre los supervivientes. Cambiar una sola cifra en config.json no implementa una poda: los tensores de gate/up/down y el router deben tener shapes coherentes, y hay que recargar y hacer un forward.
oxfrug: REAP-20pct
El card de oxfrug es explícito: 205 expertos/capa, 8 activos/token, ~56 GB BF16 en vez de ~67 GB, MTP, visión, embeddings y lm_head intactos; router renormalizado; Transformers ≥5.8.1. Su receta publicada usa 1,000 secuencias de longitud máxima 1,024, semilla 42, prune_method=reap, renormalize_router_weights=true y una mezcla de evol-codealpaca y Mixture-of-Thoughts; advierte que no incorpora trazas xlam/SWE-smith. El card no reporta un benchmark completo de SWE-bench/Terminal-Bench/GPQA para este checkpoint y prohíbe copiar los números del base. Sus instrucciones de serving no fueron probadas localmente aquí y no se presentan como receta validada.
sleepyeldrazi: 20B total, no 20% de poda
El card de sleepyeldrazi declara 35.9B→20.3B parámetros, 256→132 expertos/capa (48.4% menos), top_k=8, una pasada LoRA de recuperación y cuantización GGUF con imatrix. La evaluación está orientada a agente/código/ML engineering; el autor marca como no probado lo multilingüe, traducción, prosa larga y conocimiento general. Es evidencia útil para separar capacidad general de utilidad de dominio, no una garantía para el agente del laboratorio.
mchen04: 25% más top-k=7, Apple-only
El card MLX de mchen04 declara 256→192 (25% de expertos eliminados), calibración de ~295k tokens, top_k 8→7, mxfp4 en expertos/atención/embeddings y shared expert en 8-bit. Su resultado recomendado fue medido en un M4 mini de 24 GB; no es comparable directamente con RTX/llama.cpp. La reducción de top_k significa que tampoco es una prueba aislada de poda de expertos.
Otros nombres que no deben mezclarse
mlx-community/Ornith-1.5-35B-A3B-OptiQ-4bit-REAP-19B también declara 128/256 expertos y 50% de poda, pero dice que Ornith no fue benchmarkeado por separado: publica el resultado de un Qwen3.6 sibling. Es un artefacto de referencia para una receta OptiQ, no evidencia de calidad de Ornith. Atomic-Germ/Ornith-1.5-35B-A3B-REAP50-GGUF parece un mirror posterior de REAP-50; no lo atribuiría a Ttimms sin comparar README, hashes y lineage.
Qué es y qué no es “especialización por idioma”
La literatura de routing multilingüe muestra una mezcla de rutas: Multilingual Routing in Mixture-of-Experts encuentra mayor especificidad de idioma en capas tempranas/tardías y alineamiento entre idiomas en capas intermedias; sus intervenciones de routing mejoran tareas concretas, pero no etiquetan un experto como “español”. Esa evidencia es de otros modelos, no de Ornith.
Por tanto:
- medir rutas y saliencia por idioma con corpus pareado y las mismas plantillas;
- comparar frecuencia, masa del router, norma de activación y REAP como criterios;
- hacer controles aleatorios y por dominio;
- retener un conjunto de español/inglés, code-switching, JSON, URLs, nombres propios y caracteres no ASCII;
- no declarar “experto español” por correlación de frecuencia, y no borrar expertos sólo porque reciban menos tokens en español.
Poda estructural y unlearning son objetivos distintos. Eliminar expertos/vocabulario puede reducir capacidad o salida observable, pero no demuestra que una lengua o datos hayan sido olvidados internamente. Vocabulary Trimming es evidencia de compresión de vocabulario en otros LMs multilingües, no una receta directa para Ornith. Para afirmar olvido se necesita una evaluación de olvido y utilidad; TOFU advierte que las baselines publicadas no alcanzan el comportamiento “como si nunca hubiera aprendido” en su tarea. En Ornith habría que añadir paráfrasis, transliteración, traducción inversa y pruebas de recuperación, además de la regresión normal.
Receta segura para una futura escalera 20/30/50
No mezclar todas las variables en una sola corrida:
base BF16
├─ baseline cuantizado (sin poda)
├─ REAP 20% -> reload/forward -> evaluación
├─ REAP 30% -> reload/forward -> evaluación
├─ REAP 50% -> reload/forward -> evaluación
├─ student podado + destilación/recuperación (si hace falta)
└─ cuantización final de cada student aprobado
Para cada candidato registrar revision/hash, mezcla y hash de calibración, semilla, expertos antes/después, top_k, MTP/visión, dtype, backend, contexto, número de secuencias, PPL por idioma/dominio, tool-call válido, HumanEval/MBPP, agente real, tok/s p50/p95, VRAM/RAM y errores de recarga. El orden “poda→cuantización” ayuda a atribuir la pérdida, pero se puede explorar “cuantización→poda” como rama aparte; no presentar ambas como el mismo experimento.
Artefacto offline incluido
moe-examples/ contiene un planner y cinco tests Python de biblioteca estándar. Usa un pequeño config-ornith-observed.json, calcula 205/179/128 supervivientes y etiqueta cada salida PLAN_ONLY; nunca abre pesos ni escribe checkpoints:
cd moe-examples
python3 -m unittest -v
python3 plan.py fixtures/config-ornith-observed.json --prune 0.20 --prune 0.30 --prune 0.50
Límites de esta búsqueda
- La API pública de modelos de Hugging Face devolvió
oxfrug/...REAP-20pct, las tres salidasTtimms/...REAP-50-*,mchen04/...REAP192, OptiQ REAP-19B y otros nombres; no devolvió un artefacto Ornith REAP-30 al corte. Esto no prueba que nunca exista un fork privado, borrado o no indexado. - No se verificaron pesos byte a byte ni se ejecutó una recarga; los SHA de repositorio en
sources-moe.jsonsólo fijan la revisión pública consultada. - Las cifras de calidad de las cards comunitarias son resultados de sus autores y condiciones. La evidencia del laboratorio debe volver a ejecutar los mismos prompts, harnesses y límites en la máquina destino.