LoRA

¿Qué es LoRA?

Enseñar una habilidad nueva a un modelo grande solía significar ajuste fino completo: actualizar cada uno de sus miles de millones de parámetros, lo que quema cómputo y dinero. LoRA (adaptación de bajo rango) le da la vuelta: deja el modelo principal intacto y entrena solo un puñado de parámetros extra que le permiten aprender la nueva tarea.

¿Cómo lo consigue?

Congela el modelo original
Los pesos existentes quedan bloqueados, sin actualizarse.
Añade un «atajo»
Junto a las capas que quieres adaptar, cuelga un pequeño módulo de «bajo rango» formado por dos matrices diminutas, y entrena solo ese atajo.
El truco del bajo rango
Una actualización grande de una matriz se puede aproximar multiplicando dos matrices pequeñas: órdenes de magnitud menos parámetros, con resultados cercanos al ajuste completo.

¿Por qué es genial?

Cómputo barato
Basta una GPU normal, sin racks de A100.
Almacenamiento barato
Un adaptador LoRA son solo decenas de megabytes. Se cargan, cambian y apilan como plugins.
Reutilizable
Un mismo modelo base puede llevar muchos LoRA para tareas distintas, cada uno a lo suyo.

¿Para quién es?

Para equipos y personas que quieren personalizar un modelo abierto —un estilo, un nicho— sin presupuesto. LoRA convierte «ajustar un modelo grande» de lujo de gran empresa en herramienta cotidiana de desarrollador.

En resumen: LoRA mueve solo una «franja fina» de parámetros y mueve con ella todo el modelo grande.