Atlas integrado · v4.7 · 23 septiembre 2026

Motores llama.cpp modificados: candidatos para ia-lab

Investigación: 23 de septiembre de 2026. Anexo integrado en el sitio y en el kit v4.7; investigación realizada el 23-09-2026. No se instalaron estos candidatos, no se reinició el servidor y no se ejecutaron comparativas GPU en esta investigación.

Qué pudimos recuperar del historial

En la conversación anterior «Comparar cuantizaciones y estabilidad» aparece una mención a «TurboQuant 4-bit» relacionada con opciones de caché de vLLM. No se encontró allí el enlace exacto a TheTom/llama-cpp-turboquant. Tampoco apareció en la búsqueda acotada del registro de esta tarea ni en las notas locales consultadas antes de la nueva mención del usuario. Esto no demuestra que nunca se hubiera compartido en otra conversación o adjunto.

Motor, modelo y compresión no son lo mismo

Un fork de llama.cpp modifica el programa que ejecuta los modelos. No es, por sí mismo, un modelo nuevo ni un procedimiento de entrenamiento.

1. Nuestra referencia: lomeliDev/llama.cpp

Inspección de sólo lectura en ia-lab:

Esto confirma código de rotación presente en el checkout, no que el binario activo esté usando todas esas rutas. La búsqueda acotada en logs no confirmó su activación; no se cambió el servidor para obtener ese dato.

La documentación previa del laboratorio registra KV Q4/Q4. Por eso una comparación útil debe tomar esa configuración como referencia, además de una referencia FP16 opcional si cabe. No se deben vender ahorros frente a FP16 como si fueran ahorros adicionales frente a Q4.

Fuente: código del fork en el commit inspeccionado.

2. TheTom/llama-cpp-turboquant

Es el fork de motor que compartió el usuario. La rama predeterminada observada es feature/turboquant-kv-cache; el commit inspeccionado fue a3d5603d110bda29222d2011596cdc84d7fa532d.

El código declara dos grupos distintos:

Hay implementaciones CUDA y archivos de atención especializados, además de código para otros backends. Su presencia no demuestra todavía compatibilidad correcta con nuestro Ornith, calidad conservada ni mayor velocidad en nuestras GPU.

El proyecto complementario TheTom/turboquant_plus contiene investigación, experimentos y recomendaciones. Sus mediciones son resultados reportados por el autor, no pruebas que hayamos reproducido. No basta con leer el README genérico del motor para identificar sus modificaciones.

Interés para ia-lab: comparar caché de menor tamaño y su efecto real en contexto, concurrencia y calidad. Hay que separar la prueba KV de cualquier cambio en los pesos para saber qué causó una mejora o regresión.

Fuentes: tipos en el código fijado, proyecto de investigación, recomendaciones del autor.

Qué ya llegó a llama.cpp upstream

El PR 21038 incorporó rotaciones de Q, K y V para mejorar el comportamiento de cuantizaciones existentes. Fue fusionado el 1 de abril de 2026 y no introdujo nuevos tipos de caché. Por ello, tener Hadamard en nuestro fork no equivale a tener todos los formatos PolarQuant del fork de TheTom.

Fuente: PR upstream 21038.

3. ikawrakow/ik_llama.cpp

Candidato más amplio: cuantizaciones adicionales, optimizaciones de ejecución y opciones de reparto CPU/GPU y multi-GPU. Su documentación incluye controles para expertos MoE y diferentes estrategias de atención/caché.

Interés para ia-lab: estudiar tanto el modelo denso como, por separado, el checkpoint MoE. No se debe transferir automáticamente a Ornith un resultado publicado para otra arquitectura. Tampoco se debe confundir el offload de expertos a CPU con poda permanente.

Estado: documentación revisada; no compilado ni probado aquí. Antes de usarlo se debe fijar un commit y confirmar soporte del checkpoint y formato concretos.

Fuentes: repositorio oficial, parámetros de ejecución.

4. Pascal-SAPUI5/llama.cpp-turboquant

Otra implementación útil para comparación técnica, orientada en su documentación a AMD/ROCm. Las pruebas consultadas usan una RX 9070 XT, no nuestras NVIDIA.

Los resultados publicados muestran que ahorrar caché no implica acelerar siempre: algunas condiciones de contexto largo introducen costes de descompresión. Eso impide prometer una mejora universal de latencia.

Prioridad menor para ia-lab: referencia de implementación y mediciones, no primera opción para sustituir nuestro motor NVIDIA.

Fuente: documentación y benchmarks del proyecto.

Comparativa propuesta — no ejecutada

Prioridad: conservar nuestro fork como referencia; evaluar primero TheTom para KV y ik_llama.cpp para alternativas generales y MoE. Preparar candidatos en rutas e imágenes separadas. Ninguna prueba debe desplazar el servicio activo ni ocupar su GPU sin una ventana o recursos expresamente disponibles.

  1. Fijar commits, compilador, CUDA, flags, checkpoint, hashes de pesos y template. Registrar GPU y memoria libre. No utilizar etiquetas móviles como única prueba de reproducibilidad.
  2. Validar arquitectura y formatos admitidos. Empezar con el mismo modelo y pesos; cambiar sólo motor o caché, de forma controlada. El checkpoint denso y el MoE son experimentos distintos.
  3. Ejecutar calidad corta: respuesta normal, salida estructurada, tool call, continuación tras resultado, dos herramientas consecutivas, historial y streaming SSE. No usar herramientas reales con efectos externos en el primer canario.
  4. Medir tiempo al primer token, velocidad de prefill y generación por separado, latencia total, VRAM y errores. Repetir ensayos y distinguir calentamiento de ejecuciones medidas.
  5. Escalar contexto sólo después de pasar calidad. Probar concurrencia real de 1 y después 3 solicitudes, con métricas por solicitud. Reservar memoria para un contexto no demuestra que se procese correctamente.
  6. Comparar recuperación de información, español, código y contratos de herramientas. Revisar resultados completos y truncamientos; HTTP 200 no equivale a éxito.
  7. Probar OpenCode, Codex y Harness con sus adaptadores reales únicamente después de la prueba directa. Conservar por separado fallos del motor, del protocolo y del cliente.
  8. Recomendar un cambio sólo si mejora una métrica útil sin una regresión inaceptable. Conservar imagen y configuración de retorno.

Límites actuales