Atlas integrado · v4.7 · 23 septiembre 2026
- Motores llama.cpp modificados: candidatos para ia-lab
Motores llama.cpp modificados: candidatos para ia-lab
Investigación: 23 de septiembre de 2026. Anexo integrado en el sitio y en el kit v4.7; investigación realizada el 23-09-2026. No se instalaron estos candidatos, no se reinició el servidor y no se ejecutaron comparativas GPU en esta investigación.
Qué pudimos recuperar del historial
En la conversación anterior «Comparar cuantizaciones y estabilidad» aparece una mención a «TurboQuant 4-bit» relacionada con opciones de caché de vLLM. No se encontró allí el enlace exacto a TheTom/llama-cpp-turboquant. Tampoco apareció en la búsqueda acotada del registro de esta tarea ni en las notas locales consultadas antes de la nueva mención del usuario. Esto no demuestra que nunca se hubiera compartido en otra conversación o adjunto.
Motor, modelo y compresión no son lo mismo
Un fork de llama.cpp modifica el programa que ejecuta los modelos. No es, por sí mismo, un modelo nuevo ni un procedimiento de entrenamiento.
- Cuantizar pesos reduce la representación numérica de los parámetros del modelo.
- Cuantizar la caché KV reduce la memoria usada para atender el contexto durante la inferencia.
- Podar expertos cambia la estructura o selección de expertos de un modelo MoE.
- Descargar expertos a CPU cambia dónde se ejecutan o almacenan, pero no los elimina.
- Destilar con un maestro, adaptar con LoRA/QLoRA y estudiar unlearning son trabajos diferentes. No se obtienen simplemente cambiando el ejecutable de inferencia.
1. Nuestra referencia: lomeliDev/llama.cpp
Inspección de sólo lectura en ia-lab:
- Código:
/opt/llama.cpp. - Origin:
https://github.com/lomeliDev/llama.cpp.git. - Commit observado:
82490b9d43954a82d659890a2d6c74dd68cf5653. - Asunto del commit:
server: keep the connection alive after a streamed response. src/llama-kv-cache.cppcontiene rotación Hadamard para K y V, condicionada por el tipo cuantizado, dimensiones compatibles y la variableLLAMA_ATTN_ROT_DISABLE.- La búsqueda de tipos
GGML_TYPE_TURBO,GGML_TYPE_TQ3yGGML_TYPE_TQ4en el encabezado inspeccionado no produjo coincidencias.
Esto confirma código de rotación presente en el checkout, no que el binario activo esté usando todas esas rutas. La búsqueda acotada en logs no confirmó su activación; no se cambió el servidor para obtener ese dato.
La documentación previa del laboratorio registra KV Q4/Q4. Por eso una comparación útil debe tomar esa configuración como referencia, además de una referencia FP16 opcional si cabe. No se deben vender ahorros frente a FP16 como si fueran ahorros adicionales frente a Q4.
Fuente: código del fork en el commit inspeccionado.
2. TheTom/llama-cpp-turboquant
Es el fork de motor que compartió el usuario. La rama predeterminada observada es feature/turboquant-kv-cache; el commit inspeccionado fue a3d5603d110bda29222d2011596cdc84d7fa532d.
El código declara dos grupos distintos:
- Caché KV de ejecución:
TURBO2_0,TURBO3_0yTURBO4_0, descritos como WHT + PolarQuant. - Pesos:
TQ3_1SyTQ4_1S, descritos como WHT/Lloyd-Max con bloques de 32.
Hay implementaciones CUDA y archivos de atención especializados, además de código para otros backends. Su presencia no demuestra todavía compatibilidad correcta con nuestro Ornith, calidad conservada ni mayor velocidad en nuestras GPU.
El proyecto complementario TheTom/turboquant_plus contiene investigación, experimentos y recomendaciones. Sus mediciones son resultados reportados por el autor, no pruebas que hayamos reproducido. No basta con leer el README genérico del motor para identificar sus modificaciones.
Interés para ia-lab: comparar caché de menor tamaño y su efecto real en contexto, concurrencia y calidad. Hay que separar la prueba KV de cualquier cambio en los pesos para saber qué causó una mejora o regresión.
Fuentes: tipos en el código fijado, proyecto de investigación, recomendaciones del autor.
Qué ya llegó a llama.cpp upstream
El PR 21038 incorporó rotaciones de Q, K y V para mejorar el comportamiento de cuantizaciones existentes. Fue fusionado el 1 de abril de 2026 y no introdujo nuevos tipos de caché. Por ello, tener Hadamard en nuestro fork no equivale a tener todos los formatos PolarQuant del fork de TheTom.
Fuente: PR upstream 21038.
3. ikawrakow/ik_llama.cpp
Candidato más amplio: cuantizaciones adicionales, optimizaciones de ejecución y opciones de reparto CPU/GPU y multi-GPU. Su documentación incluye controles para expertos MoE y diferentes estrategias de atención/caché.
Interés para ia-lab: estudiar tanto el modelo denso como, por separado, el checkpoint MoE. No se debe transferir automáticamente a Ornith un resultado publicado para otra arquitectura. Tampoco se debe confundir el offload de expertos a CPU con poda permanente.
Estado: documentación revisada; no compilado ni probado aquí. Antes de usarlo se debe fijar un commit y confirmar soporte del checkpoint y formato concretos.
Fuentes: repositorio oficial, parámetros de ejecución.
4. Pascal-SAPUI5/llama.cpp-turboquant
Otra implementación útil para comparación técnica, orientada en su documentación a AMD/ROCm. Las pruebas consultadas usan una RX 9070 XT, no nuestras NVIDIA.
Los resultados publicados muestran que ahorrar caché no implica acelerar siempre: algunas condiciones de contexto largo introducen costes de descompresión. Eso impide prometer una mejora universal de latencia.
Prioridad menor para ia-lab: referencia de implementación y mediciones, no primera opción para sustituir nuestro motor NVIDIA.
Fuente: documentación y benchmarks del proyecto.
Comparativa propuesta — no ejecutada
Prioridad: conservar nuestro fork como referencia; evaluar primero TheTom para KV y ik_llama.cpp para alternativas generales y MoE. Preparar candidatos en rutas e imágenes separadas. Ninguna prueba debe desplazar el servicio activo ni ocupar su GPU sin una ventana o recursos expresamente disponibles.
- Fijar commits, compilador, CUDA, flags, checkpoint, hashes de pesos y template. Registrar GPU y memoria libre. No utilizar etiquetas móviles como única prueba de reproducibilidad.
- Validar arquitectura y formatos admitidos. Empezar con el mismo modelo y pesos; cambiar sólo motor o caché, de forma controlada. El checkpoint denso y el MoE son experimentos distintos.
- Ejecutar calidad corta: respuesta normal, salida estructurada, tool call, continuación tras resultado, dos herramientas consecutivas, historial y streaming SSE. No usar herramientas reales con efectos externos en el primer canario.
- Medir tiempo al primer token, velocidad de prefill y generación por separado, latencia total, VRAM y errores. Repetir ensayos y distinguir calentamiento de ejecuciones medidas.
- Escalar contexto sólo después de pasar calidad. Probar concurrencia real de 1 y después 3 solicitudes, con métricas por solicitud. Reservar memoria para un contexto no demuestra que se procese correctamente.
- Comparar recuperación de información, español, código y contratos de herramientas. Revisar resultados completos y truncamientos; HTTP 200 no equivale a éxito.
- Probar OpenCode, Codex y Harness con sus adaptadores reales únicamente después de la prueba directa. Conservar por separado fallos del motor, del protocolo y del cliente.
- Recomendar un cambio sólo si mejora una métrica útil sin una regresión inaceptable. Conservar imagen y configuración de retorno.
Límites actuales
- No se ha demostrado mejora de velocidad, memoria ni calidad local con estos forks.
- No se ha confirmado que TheTom fuera el enlace exacto de la conversación antigua.
- No se ha cambiado producción, instalado otro motor, descargado pesos ni gastado créditos de voz.
- Este anexo no sustituye la investigación específica de poda MoE, datasets, destilación o idiomas; ayuda a no mezclar esos procesos con optimizaciones del motor.