Ficha
- Tipo
- paper académico
- Autor / canal
- Edward J. Hu et al. / Microsoft
- Idioma
- inglés
- Fecha
- 2021-10-16
- Estado de evidencia
- Compatible sin probar
- Procedencia
- Fuente académica primaria
Resumen original
LoRA congela los pesos preentrenados e inserta matrices entrenables de bajo rango en módulos seleccionados. Esto reduce el número de parámetros optimizados y evita mantener una copia completa de gradientes y estados para todo el modelo. El paper aporta el fundamento de la adaptación eficiente y reporta resultados competitivos en las arquitecturas y tareas que estudia. No prueba que cualquier rango, target o dataset conserve las capacidades de un modelo diferente. Tampoco cubre QLoRA, la cuantización NF4, Qwen3.5 híbrido, visión o MTP. La comparación con QLoRA debe formularse correctamente: LoRA describe adaptadores de bajo rango; QLoRA añade una base congelada cuantizada para reducir memoria, con riesgos y herramientas adicionales. Para el Atlas, LoRA sobre BF16 funciona como control metodológico de calidad cuando se evalúe una especialización de Ornith, no como resultado ya obtenido. Conviene leer el paper antes de elegir módulos, rango, alpha y política de fusión, o cuando se necesita entender qué se entrena realmente. Un experimento útil mantiene dataset, split, longitud y gates iguales frente a QLoRA. La pérdida de entrenamiento no demuestra retención en código, español, herramientas, contexto, visión o seguridad.
Qué enseña
El mecanismo de adaptadores de bajo rango sobre una base congelada y sus ventajas de entrenamiento.
Qué no demuestra
No demuestra targets, rango ni retención de capacidades para Ornith.
Relación con Ornith
Define el control LoRA BF16 para comparar con QLoRA bajo el mismo protocolo.