LoRA reduce el coste, pero un rango bajo limita el detalle

LoRA, o adaptación de bajo rango, especializa una inteligencia artificial sin actualizar todos los pesos del modelo. Congela las matrices originales y entrena dos matrices más pequeñas para cada peso seleccionado; su producto representa el cambio que se añade al modelo base.

Así disminuyen los parámetros entrenables, los estados del optimizador y el espacio necesario para guardar cada especialización. La contrapartida es matemática: el rango limita la capacidad de la actualización y, si queda por debajo de lo que exige la tarea, puede perder distinciones que una adaptación más expresiva sí representaría.

Qué se entrena y de dónde sale el ahorro

En una matriz de pesos con dimensiones de entrada y salida, el ajuste completo puede modificar todos sus valores. LoRA mantiene esa matriz fija y aprende dos matrices, A y B, cuya dimensión intermedia es el rango r. La actualización se expresa como BA y se suma al peso original, normalmente después de aplicar un factor de escala.

Para ese peso, el adaptador contiene aproximadamente r × (entrada + salida) parámetros, frente a entrada × salida en un ajuste completo. En un ejemplo hipotético, una matriz de 4096 × 4096 tiene 16.777.216 pesos; con rango 8, las matrices LoRA suman 65.536 parámetros, cerca del 0,39 %. El ahorro del modelo completo dependerá de cuántas matrices reciban adaptadores y de qué otros componentes permanezcan entrenables.

El trabajo original de LoRA documentó, frente al ajuste completo de GPT-3 175B con Adam, hasta 10.000 veces menos parámetros entrenables y un uso de memoria de GPU tres veces menor. En sus configuraciones para RoBERTa, DeBERTa, GPT-2 y GPT-3, LoRA igualó o superó la calidad del ajuste completo; esos resultados no garantizan la misma equivalencia en cualquier modelo o tarea. El método tampoco añade latencia de inferencia frente a un modelo completamente ajustado cuando la actualización se fusiona con los pesos base.

Por qué poco rango puede restar detalle

El rango determina cuántas direcciones independientes puede representar BA. Un valor pequeño comprime con fuerza la actualización y puede bastar para un cambio delimitado, pero no puede expresar una modificación cuyo rango efectivo sea mayor. En ese caso, categorías próximas, excepciones o diferencias de dominio pueden quedar reunidas en una representación demasiado limitada.

La documentación de PEFT sobre LoRA resume la relación central: elevar r aumenta los parámetros entrenables y la capacidad de aprendizaje; también identifica target_modules, lora_alpha, dropout y los patrones de rango por capa como controles configurables. Por eso, bajar r reduce el coste, pero no ofrece una calidad equivalente por definición.

Subir el rango tampoco asegura una mejora: aumenta el tamaño del adaptador y el trabajo de entrenamiento, mientras que el límite de calidad puede estar en los datos o en las matrices elegidas. Una comparación útil mantiene constantes los ejemplos, los módulos objetivo, la escala y el presupuesto de entrenamiento, y evalúa varios rangos con casos que exijan las distinciones importantes para la tarea.

Los módulos objetivo importan tanto como el rango

Selección de módulos objetivo y rango que modifica los parámetros entrenables de un adaptador LoRA.

El rango no actúa sobre todo el modelo por sí solo. target_modules determina qué proyecciones reciben las matrices entrenables. Adaptar únicamente algunas proyecciones de atención reduce el número de parámetros, pero también restringe los lugares donde el modelo puede expresar el cambio; incluir más matrices amplía esa superficie y eleva el coste.

Los nombres de los módulos varían entre arquitecturas, de modo que una selección copiada de otro modelo puede no coincidir con las capas previstas. Antes de entrenar conviene comprobar qué parámetros quedaron marcados como entrenables y calcular su cantidad. También hay que guardar la configuración junto al adaptador: rango, módulos, escala, versión del modelo base y demás opciones que alteren el resultado.

lora_alpha escala la contribución de la actualización, pero no aumenta su rango. Comparar dos adaptadores que cambian a la vez r, la escala y las matrices objetivo impide atribuir la diferencia observada a una sola decisión.

Elegir el rango mínimo antes de fijar una referencia de calidad puede ocultar falta de capacidad.
Usar nombres de módulos que no corresponden a la arquitectura puede dejar fuera pesos relevantes.
Aumentar r no corrige etiquetas contradictorias, duplicados ni ejemplos que omiten los casos difíciles.
Evaluar solo la pérdida de entrenamiento no muestra si el adaptador conserva las diferencias necesarias fuera de esos datos.

Los datos ponen el techo y la portabilidad tiene límites

LoRA cambia la parametrización del aprendizaje, no la información disponible. Un conjunto coherente puede enseñar un formato, vocabulario de dominio o conducta delimitada; datos sesgados o contradictorios trasladan esas deficiencias al adaptador. La evaluación debe separar ejemplos del entrenamiento e incluir excepciones y casos cercanos que revelen si el rango conserva los matices buscados.

El adaptador suele ocupar mucho menos que una copia completa del modelo, lo que permite mantener varias especializaciones sobre una base compartida e intercambiarlas, una ventaja operativa descrita en la explicación técnica de IBM. Sin embargo, no es un modelo autónomo: depende de una arquitectura y una revisión compatibles. Cambiar la base puede alterar nombres, dimensiones y comportamiento, por lo que compartir un adaptador exige identificar con precisión el modelo del que depende.

Fusionar la actualización con los pesos simplifica el servicio de una única especialización y elimina el cálculo separado del adaptador. Mantenerla aparte facilita alternar tareas y conservar la trazabilidad, aunque el sistema de inferencia debe cargar la combinación correcta.

Cuándo elegir prompting, RAG, LoRA o ajuste completo

La decisión depende de qué necesita cambiar. Si unas instrucciones y ejemplos en la petición producen el comportamiento requerido, el prompting es la opción más reversible porque no modifica pesos. Si el problema es aportar documentos privados, información cambiante o fragmentos recuperables, RAG introduce ese contenido durante cada consulta en lugar de intentar almacenarlo en el adaptador.

LoRA encaja cuando el equipo necesita aprender un comportamiento persistente —por ejemplo, un formato estable, una clasificación especializada o convenciones de un dominio— y quiere limitar los parámetros entrenables o conservar varias especializaciones sobre el mismo modelo. No sustituye a RAG cuando la necesidad principal es recuperar hechos, ni compensa datos de entrenamiento deficientes.

El ajuste completo ofrece libertad para modificar el conjunto amplio de pesos, pero exige más memoria de entrenamiento y una copia mucho mayor por especialización. Tiene sentido considerarlo cuando LoRA alcanza un techo relevante incluso después de revisar datos, rango y módulos objetivo, y cuando la ganancia medida justifica ese coste.

Prompting: cambia las instrucciones y el contexto, no los pesos.
RAG: incorpora información recuperada durante la consulta.
LoRA: aprende una actualización compacta ligada a un modelo base.
Ajuste completo: permite actualizar el conjunto amplio de parámetros a mayor coste.

Estas opciones no son excluyentes: LoRA puede fijar un comportamiento y RAG suministrar información. El objetivo no es escoger el menor rango posible, sino el adaptador más pequeño que conserve las diferencias relevantes en una evaluación representativa.

LoRA abarata el ajuste de una IA, pero elegir poco rango también resta detalle