# Lección 09 — Poda estructurada y recuperación sin perder el uso de herramientas

**Base editorial:** r3.2  
**Tema:** compresión experimental de Ornith mediante poda estructurada y recuperación  
**Regla de la lección:** un checkpoint más pequeño no se promueve si deja de actuar correctamente como agente.

## Objetivo

Diseñar un experimento de poda estructurada que reduzca una dimensión ejecutable del modelo —profundidad o anchura— y que incluya desde el inicio una fase de recuperación. Al terminar, podrás distinguir un recorte técnicamente válido de un modelo realmente útil, trasladar con cautela métodos publicados para LLaMA hacia Ornith y construir gates que protejan llamadas de herramientas, JSON, código, abstención, contexto y seguridad.

Esta lección no promete un porcentaje de ahorro. Tampoco afirma que Ornith ya haya sido podado con éxito. El resultado buscado es un protocolo reproducible y reversible, no un nuevo checkpoint de producción.

## Prerrequisitos

Antes de podar debe existir un baseline inmutable con hash, configuración, tokenizer, plantilla de chat, runtime y batería de evaluación registrados. También se necesita una copia de trabajo, presupuesto de recuperación y un mecanismo de rollback.

Si un adapter previo define la conducta agentiva deseada, debe congelarse como referencia. Poda, cuantización de serving, KV cache, MTP y DFlash son variables distintas: no se cambian en la misma comparación. De otro modo, una mejora de latencia o una regresión de herramientas no podrá atribuirse a una causa.

## Estado de evidencia

La poda estructurada y la recuperación están demostradas en configuraciones concretas. Minitron estudia profundidad y anchura con destilación. Sheared LLaMA aprende una arquitectura objetivo y recupera capacidad con continued pre-training. LLM-Pruner agrupa parámetros dependientes y aplica LoRA. ShortGPT propone Block Influence para detectar capas aparentemente redundantes.

Nada de esto demuestra que los porcentajes, rankings o recetas de LLaMA se transfieran directamente a Ornith. Ornith-1.5-9B se describe como un modelo denso basado en Qwen3.5, con una arquitectura híbrida que alterna atención completa y mecanismos lineales, además de componentes declarados de visión y MTP. No es un LLaMA renombrado. La evidencia publicada sirve para formular hipótesis y controles, no para reutilizar índices de capas ni máscaras.

## 1. Qué significa poda estructurada

La poda no estructurada pone pesos individuales a cero, sin aceleración real si el backend no explota el patrón. La poda estructurada retira unidades que cambian la forma ejecutable: bloques, cabezas, canales o neuronas MLP. Puede entregar otro modelo denso, pero las formas acopladas hacen que una eliminación local invalide proyecciones, residuales, normalizaciones o cargadores.

Hay dos rutas iniciales razonables. **Depth-only** elimina bloques completos y conserva dimensiones internas. Suele ser más sencilla de exportar, pero puede romper la secuencia de transformaciones y, en Ornith, alterar el patrón entre capas lineales y atención completa. **Width-only** reduce hidden size, cabezas o MLP. Puede conservar profundidad, aunque exige reescribir muchas matrices relacionadas y respetar divisibilidad, agrupaciones y dimensiones compartidas.

No empieces combinando ambas. El primer experimento debe responder una pregunta estrecha: “¿podemos retirar una cantidad pequeña de estructura, recargar el modelo y recuperar su conducta sin cruzar gates críticos?”.

## 2. El límite LLaMA → Ornith

Un ranking calculado para LLaMA sólo describe aquel checkpoint, sus datos de calibración y su arquitectura. Trasladarlo a Ornith violaría tres límites.

Primero, las dependencias tensoriales cambian. Una cabeza o canal participa en proyecciones conectadas; LLM-Pruner muestra por qué deben podarse grupos completos, pero su grafo debe reconstruirse para las clases reales de Ornith. Segundo, la semántica de las capas cambia. En una arquitectura híbrida, retirar “cada n capas” puede desequilibrar atención global y estado recurrente. Tercero, existen interfaces adicionales: visión, MTP, plantilla de herramientas y generación larga. Aunque no se usen en el primer entrenamiento, el checkpoint final debe declarar honestamente qué conserva y qué quedó fuera.

Por eso la transferencia correcta es metodológica: conservar la idea de ranking, agrupación, arquitectura objetivo, recuperación y evaluación. No se transfieren máscaras, porcentajes ni conclusiones. Antes de cortar, hay que inspeccionar `config.json`, nombres y formas de tensores, patrón de capas, tokenizer, chat template y código de carga. Si la herramienta de poda no reconoce un módulo, se detiene; no se lo trata como una capa genérica por conveniencia.

La poda de expertos tampoco aplica al Ornith 9B denso. No hay expertos independientes que apagar. Cambiar a otro modelo MoE sería elegir otra base, no podar este checkpoint.

## 3. Ranking y calibración

El ranking debe calcularse sobre una copia y con un conjunto de calibración versionado. Puede combinar activaciones, gradientes, Block Influence o sensibilidad por ablación. Ninguna métrica aislada autoriza la poda. Una capa poco influyente en texto corto puede ser importante para código largo, español, recuperación tras un error o selección de herramientas.

La calibración debe representar los dominios protegidos: conversación, código, JSON, español, contexto largo y trayectorias agentivas. En tool use no basta con prompts que terminan en una llamada correcta. Incluye selección de herramienta, tipos de argumentos, campos requeridos, llamadas paralelas sólo cuando son independientes, seguimiento multivuelta, procesamiento de resultados, abstención cuando ninguna herramienta sirve y recuperación ante errores simulados.

Calcula rankings separados por dominio y busca desacuerdos. Si un bloque parece prescindible para opción múltiple pero importante para herramientas, no lo declares redundante. La decisión debe atender el peor dominio crítico, no sólo la media.

## 4. Cortar poco, validar pronto

Define una arquitectura objetivo pequeña y explícita. Registra qué grupos se retiran, por qué, qué formas resultan y qué código realiza la transformación. El artefacto recién podado debe pasar primero gates estructurales: carga limpia, forward pass determinista, generación corta, serialización, recarga y compatibilidad con el tokenizer y la plantilla de chat.

Luego ejecuta un smoke test funcional antes de gastar en recuperación. El objetivo no es exigir calidad final, sino detectar daños catastróficos: JSON imposible de parsear, bucles, tools inexistentes, argumentos inventados, pérdida del token de parada o fallos de contexto. Si aparece un defecto estructural, se corrige el corte; no se intenta “entrenar para taparlo”.

Mide parámetros, tamaño, VRAM, latencia de prefill y decode y throughput en el backend objetivo. Menos parámetros no garantiza menor latencia. Un ancho extraño puede caer en kernels ineficientes; una arquitectura que el runtime no soporta puede costar más que la base.

## 5. Recuperación

El checkpoint podado es el punto de partida, no el producto. Hay tres estrategias principales.

**LoRA** recupera con pocos parámetros entrenables y facilita rollback. Es útil para una prueba temprana, como en LLM-Pruner, pero puede no reparar toda la pérdida estructural. **Continued pre-training** actualiza el modelo podado con una mezcla de datos, como propone Sheared LLaMA; ofrece mayor capacidad de adaptación a cambio de más cómputo y riesgo de deriva. **Destilación** usa un profesor intacto y puede transferir logits, distribuciones o respuestas verificables; Minitron muestra que esta fase puede ser central.

Para preservar herramientas, la recuperación debe incluir ejemplos observables: solicitud, schemas disponibles, acción propuesta, resultado simulado y respuesta final. Se entrenan decisiones y salidas verificables, no chain-of-thought privado. Los ejemplos deben cubrir también “no llamar”, pedir un dato faltante, corregir argumentos tras un error y detenerse al alcanzar el estado final.

Mantén un porcentaje protegido de datos generales y evalúa periódicamente. No optimices sólo tool use: un modelo puede aprender a llamar de más, obedecer schemas sin comprender resultados o degradar código y español. Guarda checkpoints frecuentes y detén el entrenamiento cuando un gate crítico empeore de forma sostenida.

## 6. Gates para preservar tool use

La evaluación compara siempre base intacta, modelo recién podado y modelo recuperado. Usa los mismos prompts, seeds, límites y mocks. Registra la trayectoria completa sin secretos: herramientas ofrecidas, llamada emitida, validación de schema, resultado del mock, respuesta final, latencia, tokens y errores.

Como mínimo, separa estas métricas:

- selección correcta de herramienta y abstención;
- JSON válido, nombre exacto, tipos y argumentos requeridos;
- ausencia de parámetros inventados;
- llamadas paralelas sólo cuando no hay dependencia;
- mantenimiento de estado en multivuelta;
- recuperación ante timeout o error simulado;
- interpretación correcta del resultado;
- finalización sin repetir llamadas;
- tests reales para código generado;
- cumplimiento de límites de autorización.

Una media no puede ocultar un fallo crítico. Cero ejecuciones externas reales durante el laboratorio; cero herramientas destructivas; cero secretos. Un checkpoint falla promoción si intenta saltar el interceptor, inventa éxito, llama una tool prohibida o degrada de manera material la abstención, aunque sea más rápido.

## Video de contexto

**What is Low-Rank Adaptation (LoRA) | explained by the inventor**, Edward Hu: https://www.youtube.com/watch?v=DhRoTONcyZE

El video contextualiza LoRA como recuperación ligera. No es un tutorial de poda de Ornith ni demuestra que restaure por completo una arquitectura recortada.

## Práctica segura

Sobre una copia desechable, diseña —sin ejecutar sobre servicios reales— dos candidatos pequeños: uno depth-only y otro width-only. Para cada uno, documenta unidades retiradas, dependencias, ahorro esperado, compatibilidad del runtime, estrategia de recuperación y rollback. Construye diez trayectorias con herramientas en memoria: lectura permitida, escritura ficticia, dos llamadas independientes, una dependencia multivuelta, argumento faltante, schema inválido, timeout, herramienta irrelevante, acción prohibida y finalización correcta.

Ejecuta sólo smoke tests y mocks locales. Conserva el baseline por hash y nunca sobrescribas pesos. No conectes red, filesystem personal, credenciales, shells ni APIs externas. Marca cada resultado como aprobado, regresión o no evaluado; “parece funcionar” no es una categoría.

## Criterio de éxito

La práctica tiene éxito cuando produce un plan reproducible, no cuando alcanza un porcentaje llamativo. Debe existir un candidato que cargue y recargue, una medición de ahorro real en el backend objetivo, una fase de recuperación trazable y una comparación completa contra la base. Todos los casos permanecen en el denominador, incluidos timeout, OOM y JSON inválido.

La promoción sólo es posible si no hay regresiones críticas de tool use, autorización, seguridad, código o estabilidad; las variaciones permitidas están definidas antes de medir; y el beneficio de memoria o latencia justifica el costo de recuperación. Si ningún candidato cruza esos gates, el resultado correcto es conservar Ornith intacto y registrar la hipótesis como refutada.

## Fuentes

1. NVIDIA, **Compact Language Models via Pruning and Knowledge Distillation (Minitron)**: https://arxiv.org/abs/2407.14679  
2. Xia et al., **Sheared LLaMA: Accelerating Language Model Pre-training via Structured Pruning**: https://arxiv.org/abs/2310.06694  
3. Ma, Fang y Wang, **LLM-Pruner: On the Structural Pruning of Large Language Models**: https://arxiv.org/abs/2305.11627  
4. Men et al., **ShortGPT: Layers in Large Language Models are More Redundant Than You Expect**: https://aclanthology.org/2025.findings-acl.1035/  
5. Hu et al., **LoRA: Low-Rank Adaptation of Large Language Models**: https://arxiv.org/abs/2106.09685  
6. Berkeley Function-Calling Leaderboard, categorías de evaluación: https://github.com/ShishirPatil/gorilla/blob/main/berkeley-function-call-leaderboard/TEST_CATEGORIES.md  
7. **ToolSandbox**, evaluación con estado y herramientas: https://arxiv.org/abs/2408.04682
