低秩适配

LoRA 是什么？

想让一个大模型学会新本领，传统做法是「全量微调」——把模型里上亿个参数全部更新一遍，既费算力又费钱。LoRA（低秩适配）换了个思路：主体模型一动不动，只训练一小撮额外加进去的参数，就能让它学会新任务。

它是怎么做到的？

冻结原模型
原来的权重全部锁死，不更新。
加一条「旁路」
在需要调整的层旁边，挂一个由两个小矩阵组成的「低秩」模块，只训练这一小条旁路。
低秩的妙处
一个大矩阵的更新，可以被拆成两个小矩阵相乘来近似——参数少了好几个数量级，效果却接近全量微调。

它好在哪？

省算力
普通显卡就能跑，不用动辄几十张 A100。
省存储
一个 LoRA 适配器只有几十 MB，可以像插件一样随时加载、切换、叠加。
可复用
同一个基座模型上，可以挂很多个不同任务的 LoRA，各司其职。

它适合谁？

想给开源模型定制风格、学特定领域知识、又没预算的团队和个人，LoRA 几乎是最优解。它让「微调大模型」从大厂的专属，变成了普通开发者的日常工具。

一句话记住：LoRA 只动「一小条」参数，就撬动了整个大模型。