# Ornith 1.5-9B en ia-lab

Configuración del 18 de septiembre de 2026. Primera puesta en marcha; no entrenamiento ni QLoRA.

| GPU física | Motor | Modelo/API | Cuantización |
|---|---|---|---|
| 0 | llama.cpp existente | `ornith-local`, puerto 8120 | GGUF Q4_K_L existente, sin cambios |
| 1 | SGLang | `ornith-sglang`, `http://127.0.0.1:8130/v1` | Pesos FP8 mediante Marlin; activaciones BF16 (W8A16) |
| 2 | vLLM | `ornith-vllm`, `http://127.0.0.1:8140/v1` | BitsAndBytes NF4, 4 bits, activaciones BF16 |
| 3 | Sin asignar | — | No utilizada |

Los lanzadores fijan las GPU por UUID, no por el ordinal CUDA interno, que puede aparecer como `cuda:0` dentro de cada proceso. Ambos motores nuevos comienzan con 8.192 tokens de contexto y hasta dos solicitudes simultáneas. Configuración inicial conservadora, sin optimización de rendimiento ni contexto largo.

## Pesos y cuantización

Se descargó una sola copia oficial de [ornith-ai/Ornith-1.5-9B](https://huggingface.co/ornith-ai/Ornith-1.5-9B), revisión `489cb97981b8654bcfcf30ce1f94ed1b62e07b53`, en `/home/lab/models/Ornith-1.5-9B-original`. Los 16 archivos descargados pasaron la verificación de checksums de Hugging Face; se omitieron únicamente las dos imágenes de documentación.

Los archivos originales permanecen en BF16. La cuantización se hace al cargar en GPU: **no se exportó todavía un checkpoint cuantizado separado**. No se convirtió el GGUF de llama ni se alteraron sus pesos. SGLang usa compresión de pesos FP8 con Marlin, no operaciones FP8 nativas de la RTX 3090.

## Ver el trabajo

En Herdr abre `sglang` o `vllm`:

- `Codex`: comandos de preparación y trabajo.
- `Log`: registro del servidor.
- `Test`: comprobaciones del motor, cuando se ejecutan allí.
- `Monitor`: estado de la GPU asignada.

En tmux: `Ctrl+A`, soltar y `7` abre `Codex`. El menú de clic derecho y el manual existentes se conservan.

## Control desde ia-lab

```bash
# SGLang
bash /home/lab/bench/ornith/sglang/manage.sh status
bash /home/lab/bench/ornith/sglang/manage.sh start
bash /home/lab/bench/ornith/sglang/manage.sh stop

# vLLM
bash /home/lab/bench/ornith/vllm/service.sh status
bash /home/lab/bench/ornith/vllm/service.sh start
bash /home/lab/bench/ornith/vllm/service.sh stop
```

SGLang corre dentro de su tmux. vLLM usa el servicio transitorio de usuario `ornith-vllm`. Ambos sobreviven al cierre de SSH; esta configuración no establece arranque automático de los dos motores después de reiniciar el servidor.

Las API nuevas solo escuchan en localhost: no se abrió acceso público ni se cambiaron reglas de red/Tailscale. Los comandos anteriores se ejecutan dentro de ia-lab.

## Pruebas

Verificación final completada: ambos motores respondieron HTTP 200 a `/health` y pasaron las dos pruebas independientes, ejecutadas en paralelo entre motores: `17 × 23 = 391` y una función Python `square(n)` que devuelve `n * n`. Las respuestas finalizaron con `stop`, no por agotar el límite de tokens. Evidencia remota: `/home/lab/bench/ornith/shared/acceptance.json`.

vLLM también pasó dos solicitudes concurrentes dentro del mismo motor. SGLang pasó una respuesta exacta `SGLANG_OK` después de su primera compilación. El proceso original de llama, PID 2267567, permaneció en la GPU 0. La GPU 3 no fue utilizada.

Las pruebas son de funcionamiento, no una comparación de rendimiento ni una evaluación de pérdida de calidad por cuantización. Multimedia, contexto largo y entrenamiento no fueron probados. La primera compilación de SGLang tardó aproximadamente siete minutos.

Versiones verificadas: SGLang 0.5.19 / Transformers 5.12.1; vLLM 0.29.0 / Transformers 5.17.0 / BitsAndBytes 0.50.2 / vllm-bnb-plugin 0.0.3. Ambos usan Torch 2.13.0+cu130. No se cambiaron controladores ni paquetes globales del servidor.

El manual de clic derecho también incluye los comandos de estado, arranque y parada. Se usó la guía de Hugging Face para descargar y verificar la copia original compartida, manteniendo separados los entornos de inferencia.
