パラメータ効率的ファインチューニング

パラメータ効率的ファインチューニングって何？

従来の微調整はモデル全体のパラメータを更新します。数億、数千億もの重みをすべて更新するのは、メモリにも計算にも負担です。パラメータ効率的ファインチューニング（PEFT）はその逆。元の大規模モデルを凍結し、ごく少数の新しいパラメータだけを訓練して新タスクを覚えさせます。

なぜ「少ない」方が良いのか

基盤モデルはすでに強い
事前学習で得た言語能力や常識は汎用的。新タスクはたいてい「今ある能力に方向をひとつ足す」だけなので、ゼロからではなく一部だけを調整します。
新しいパラメータが仕事を引き受ける
LoRAのような手法は低ランクの行列をモデルに差し込みます。基盤に軽い「アドオン」を取り付けるようなもので、訓練するのはそのアドオンだけ。

代表的な手法

LoRA
重みに低ランク分解を足す方式。訓練量はごくわずかで、追加した行列はモデルへ統合したり外したりできます。
アダプタ
層の間に小さなモジュールを挟み、それだけを訓練します。
プレフィックス／プロンプト調整
学習可能な「ソフトプロンプト」だけを訓練し、モデル内部には一切触れません。

なぜ微調整のあり方を変えたのか

以前は「タスクごとにフルモデル1つ」で、高価で管理も大変でした。PEFTなら1つの基盤に無数の軽い「プラグイン」を用意し、数MBのファイルを保存して、切り替えも統合も自由。個人開発者や小さなチームでも微調整に手が届きます。

まとめ：PEFTは「大規模モデルは凍結し、新しいパラメータをほんの少しだけ訓練する」こと。最小限の資源で、ほしい専門モデルに変えられます。