参数高效微调是什么？
传统微调要动整个模型的参数，光是把几亿甚至上千亿个权重都更新一遍，显存和算力就吃不消。参数高效微调（PEFT）反其道而行：冻结原来的大模型，只训练极少数新加的参数——可能是几百万个，甚至只有几十万个——就能让模型学会新任务。它凭什么「少就是多」？
大模型底座已经够强预训练学到的语言能力和常识是通用的，新任务往往只是「在已有能力上加一点方向」。所以不需要重头训练，只需要微调一小块。
新增参数专门「接任务」
LoRA 这类方法会往模型里插入低秩矩阵，相当于给底座装一个轻量的「外挂」，训练时只更新这个外挂。
它有哪些常见做法？
LoRA往权重里加低秩分解，训练量极小，还能把外挂矩阵合并回模型或随时拆卸。
Adapters（适配器）
在层之间塞进小模块，只训练这些模块。
前缀 / Prompt 调优
只训练一段可学习的「软提示词」，连模型内部都不碰。
为什么它改变了微调这件事？
过去「一个任务一个完整模型」，又贵又难管。有了 PEFT，一个底座可以配出无数个轻量「插件」，各自保存一份几 MB 的小文件，随时切换、随时合并。这让个人开发者和小团队也能玩得起微调。一句话记住：参数高效微调就是「冻结大模型，只训练一小撮新参数」，用最少的资源把大模型变成你想要的专长。
评论