← Atlas

Lección 1 — Arquitectura y límites de Ornith

Descargar MP3 · Transcripción

# Lección 1 — Arquitectura y límites de Ornith

## Objetivo

Al terminar esta lección podrás distinguir, sin mezclar especificaciones, dos miembros concretos de Ornith 1.5: **Ornith-1.5-9B, modelo denso**, y **Ornith-1.5-35B-A3B, modelo de mezcla de expertos o MoE**. También podrás leer sus fichas con criterio: separar parámetros totales de parámetros activos, capacidad anunciada de requisitos reales y resultados publicados de evidencia independiente. La meta no es decidir cuál “gana”, sino construir una descripción técnica verificable y elegir qué comprobar antes de desplegar cualquiera de los dos.

## Prerrequisitos

Necesitas reconocer cuatro ideas básicas: qué es un parámetro, qué significa inferencia, qué papel cumple la memoria de GPU y qué es una ventana de contexto. No hace falta haber instalado Ornith ni disponer de una GPU. Sí conviene recordar que una ficha de modelo describe un artefacto y propone configuraciones, pero no sustituye una prueba sobre tu hardware, tu runtime y tu carga.

## Lectura profunda

Empecemos por una regla que seguirá vigente durante toda la lección: **“Ornith” no es una arquitectura única con un tamaño variable**. El nombre agrupa modelos distintos. Si copiamos una propiedad del 35B-A3B en la ficha del 9B, o viceversa, fabricamos una especificación que no corresponde a ninguno.

### Ficha A: Ornith-1.5-9B denso

La tarjeta oficial presenta Ornith-1.5-9B como el miembro ligero de la familia y lo identifica expresamente como un modelo denso.[1] “Denso” significa que, de forma general, el cálculo de cada token recorre el conjunto de capas y pesos previsto por esa arquitectura; no existe aquí un enrutador MoE que seleccione un pequeño subconjunto de expertos. Esta es la primera frontera conceptual: **el 9B no es un MoE de 35B reducido**.

La misma tarjeta lo describe como modelo de razonamiento, con salida de razonamiento y llamadas a herramientas que requieren parsers compatibles en el servidor.[1] Por eso, cargar los pesos no completa el sistema. Entre el modelo y la aplicación hay una plantilla de chat, un parser de razonamiento, un parser de llamadas a herramientas, un protocolo y un cliente. Si uno de esos elementos interpreta mal la salida, el fallo observable puede parecer “del modelo” aunque sea una incompatibilidad de integración.

La ficha documenta una ventana nativa de hasta 262.144 tokens y explica una extensión mediante escalado RoPE con YaRN.[1] Pero “admite” no significa “es gratuito”. Más contexto consume memoria de caché, aumenta el trabajo y puede modificar la calidad. La propia documentación advierte que el escalado estático puede perjudicar ligeramente solicitudes normales y recomienda activarlo sólo cuando la carga realmente lo necesite.[1] Por tanto, el límite operativo no se deduce de una cifra aislada: depende de longitud de entrada, salida reservada, concurrencia, precisión, runtime y memoria disponible.

La tarjeta estima unos 19 GB para los pesos en BF16 y ofrece una receta de servicio en una GPU de 80 GB con margen para contexto y runtime.[1] No debemos transformar esa receta en una ley universal ni afirmar, sin medir, que cualquier GPU con determinada capacidad basta. La cuantización puede reducir el espacio de pesos, pero también cambia el artefacto y no elimina caché, buffers ni sobrecarga del servidor.

**Límite de la ficha A:** describe el 9B denso. No autoriza a atribuirle “3B activos por token”, enrutamiento de expertos ni el perfil de memoria del 35B-A3B.

### Ficha B: Ornith-1.5-35B-A3B MoE

Ahora abrimos una ficha separada. Ornith-1.5-35B-A3B se documenta como una mezcla de expertos de aproximadamente 35 mil millones de parámetros totales, con cerca de 3 mil millones activados por token.[2] La letra “A” ayuda a recordar “activos”, pero no reemplaza la definición completa.

En un MoE, un mecanismo de enrutamiento dirige cada token hacia ciertos expertos. Esto reduce el cálculo activo respecto de ejecutar todos los parámetros en cada paso. Sin embargo, **parámetros activos no equivale a pesos almacenados**. Para servir el modelo siguen existiendo los pesos del conjunto MoE. Por eso la tarjeta estima alrededor de 70 GB en BF16 y propone dos GPU de 80 GB para dejar margen a un contexto de 256K.[2] El beneficio de activar aproximadamente 3B por token es principalmente de cómputo; no convierte mágicamente el checkpoint en un modelo denso de 3B ni hace desaparecer el resto de los pesos de memoria o almacenamiento.

También aquí aparecen parsers de razonamiento y herramientas, una interfaz compatible con OpenAI y recetas para runtimes recientes.[2] Estas coincidencias de interfaz no vuelven idénticas las arquitecturas. Dos servidores pueden ofrecer el mismo endpoint y ocultar perfiles muy diferentes de carga, latencia, transferencia entre dispositivos y presión de memoria.

La ficha del 35B-A3B documenta la misma longitud nativa de 262.144 tokens y la posibilidad de usar YaRN para extenderla.[2] Se mantiene la cautela: contexto máximo declarado, contexto estable en tu tarea y contexto económicamente útil son tres cosas distintas. Un despliegue serio prueba la longitud representativa, no sólo una solicitud mínima ni el máximo teórico.

**Límite de la ficha B:** describe el 35B-A3B MoE. Sus parámetros activos, requisitos de pesos y recomendaciones de paralelismo no deben trasladarse al 9B denso.

### Comparación válida, sin benchmarks inventados

Podemos comparar estructura y requisitos documentados, pero no proclamaremos superioridad. Esta lección no reproduce benchmarks ni cita puntuaciones. Una tabla de resultados publicada por el proveedor depende del harness, la plantilla, los parsers, las herramientas, el presupuesto y el entorno. Sin una ejecución controlada, sólo sería un resultado reportado, no una conclusión nuestra.

```
                 FAMILIA ORNITH 1.5
                         |
          +--------------+--------------+
          |                             |
  Ornith-1.5-9B                  Ornith-1.5-35B-A3B
      DENSO                              MoE
          |                             |
  conjunto denso de pesos       enrutador -> expertos elegidos
  para el cálculo normal         ~3B activos por token [2]
          |                             |
  pesos ~9B nominales [1]        pesos ~35B totales [2]
          |                             |
  NO hereda “3B activos”         NO equivale a un denso de 3B
          +--------------+--------------+
                         |
      probar runtime + parsers + contexto + memoria + tarea
```

Observa el cierre del diagrama. La arquitectura no opera sola. Un sistema agentivo incluye el modelo, el servidor, el formato de mensajes, el parser, las herramientas, los permisos, el bucle de ejecución y el verificador. Esa cadena define la conducta disponible. Decir “el modelo llama herramientas” resume una interacción: el modelo emite una estructura; el runtime la reconoce; la aplicación decide si permite la acción; la herramienta responde; y el resultado vuelve al contexto.

Esto marca otro límite importante. Un modelo de razonamiento no garantiza una respuesta correcta, y un formato de tool calling no garantiza una acción segura. En producción debemos validar argumentos, aplicar mínimos privilegios, limitar tiempo y repeticiones, registrar acciones y exigir confirmación para operaciones irreversibles. Nunca otorgues acceso amplio al sistema sólo porque el parser funciona.

## Vídeo curado y límite de uso

El vídeo curado para esta lección es **“Ornith 1.5: Self-Improving Coding Model or Benchmark Mirage?”**, del canal Computalis.[3] Úsalo como contrapunto crítico para comprender que los resultados agentivos dependen del conjunto formado por modelo, harness y entorno. Su propio alcance declara que no ejecutó modelos ni benchmarks.[3]

Límite estricto: el vídeo sirve aquí únicamente como comentario sobre el **35B-A3B MoE** y sobre la lectura crítica de afirmaciones. No lo usamos para establecer la arquitectura del **9B denso**, que se explica desde su tarjeta oficial. Tampoco convertimos estimaciones, experiencias de terceros o cifras mencionadas en el vídeo en hechos reproducidos por este curso.

## Ejemplo, práctica y criterio de éxito

Imagina esta frase de un informe: “Ornith 9B sólo activa 3B parámetros y por eso ocupa lo mismo que un modelo de 3B”. Hay dos errores. Primero, “3B activos” pertenece a la ficha del 35B-A3B MoE, no a la del 9B denso. Segundo, activación por token no equivale a memoria total de pesos.

Ahora completa dos fichas, sin copiar información entre columnas:

**Ficha 9B denso**
- Tipo de arquitectura:
- Parámetros activos:
- Memoria o receta citada, con fuente:
- Parser o integración requerida:
- Incógnitas que debes medir:

**Ficha 35B-A3B MoE**
- Tipo de arquitectura:
- Parámetros totales y activos, claramente diferenciados:
- Memoria o receta citada, con fuente:
- Parser o integración requerida:
- Incógnitas que debes medir:

Después escribe una recomendación condicional de tres líneas para un equipo: “probaría X si…; mediría…; descartaría el despliegue si…”. Evita palabras absolutas como “siempre”, “garantiza” o “cabe” cuando no exista una medición local.

**Criterio de éxito:** apruebas si tus fichas identifican 9B como denso y 35B-A3B como MoE; reservan la cifra aproximada de 3B activos exclusivamente para el segundo; no confunden activación con almacenamiento; distinguen especificación oficial de prueba independiente; y enumeran al menos memoria de pesos, caché de contexto, runtime, parsers y carga real como variables de validación.

## Glosario

- **Modelo denso:** arquitectura en la que no se selecciona, mediante un enrutador MoE, un subconjunto de expertos para cada token.
- **MoE, mezcla de expertos:** arquitectura con múltiples expertos y un mecanismo que decide cuáles participan en el cálculo de cada token.
- **Parámetros totales:** conjunto de parámetros que componen el checkpoint; importan para almacenamiento y carga.
- **Parámetros activos:** parte usada en el cálculo de un token dentro de un MoE; no indica por sí sola la memoria total.
- **Checkpoint:** archivos que contienen pesos y configuración del modelo.
- **Contexto:** tokens de entrada y de conversación que el modelo puede atender en una solicitud; su uso efectivo tiene coste.
- **KV cache:** memoria usada para reutilizar estados de atención durante la generación; crece con contexto, concurrencia y configuración.
- **Parser:** componente que transforma marcas de razonamiento o llamadas a herramientas en campos estructurados consumibles por una aplicación.
- **Harness:** conjunto de instrucciones, herramientas, límites, ejecución y evaluación alrededor del modelo.
- **Cuantización:** representación de pesos con menor precisión para reducir recursos; requiere validación de calidad y compatibilidad.

## Recapitulación y próxima lección

Hoy establecimos una disciplina: una ficha por arquitectura. El **Ornith-1.5-9B es denso**.[1] El **Ornith-1.5-35B-A3B es MoE, con unos 35B totales y unos 3B activos por token**.[2] La activación reducida no elimina los pesos restantes. En ambos casos, contexto, parsers, runtime, memoria y harness forman parte del límite práctico. No afirmamos rendimiento ni reproducimos benchmarks.

En la próxima lección pasaremos de “qué modelo es” a “cómo se sirve”: runtime, endpoint, formato de mensajes y protocolos. Conservaremos la misma regla de evidencia: documentar cada capa, medir el sistema completo y no atribuir al modelo lo que pertenece a la infraestructura.

## Fuentes y etiquetas

- [1] **Ornith_1_5_9B_model_card_denso** — tarjeta oficial, alcance exclusivo del 9B denso: https://huggingface.co/ornith-ai/Ornith-1.5-9B
- [2] **Ornith_1_5_35B_A3B_model_card_MoE** — tarjeta oficial, alcance exclusivo del 35B-A3B MoE: https://huggingface.co/ornith-ai/Ornith-1.5-35B-A3B
- [3] **vídeo_curado_L1_contexto_anecdotico_critico** — Computalis, vídeo suplementario seleccionado; no ejecuta modelos ni benchmarks: https://www.youtube.com/watch?v=vXhHFpyV6qk
- **Fuente base editorial:** `/root/atlas_ornith_v4_4_pre_audio_canonico_r3_2.json`, entrada `L1_arquitectura_y_limites_Ornith`. Se respetó su regla: el vídeo compara críticamente el 35B-A3B MoE y no prueba ni describe la arquitectura del 9B denso.

> Estado del material: guion local para revisión. Sin locución y sin publicación.