LoRA（ローラ、低ランク適応）

LoRAって何？

大規模モデルに新しい芸を覚えさせようとすると、従来は「フル微調整」——数十億のパラメータを全部更新し、計算もコストもかかりました。LoRA（低ランク適応）は発想を変え、本体のモデルはそのままに、追加したごく少数のパラメータだけを訓練して新タスクを覚えさせます。

どうやって実現するのか

元のモデルを凍結
既存の重みは全部ロックして更新しません。
「バイパス」を足す
調整したい層の横に、2つの小さな行列からなる「低ランク」モジュールをぶら下げ、この細いバイパスだけを訓練します。
低ランクの妙味
大きな行列の更新は、2つの小さな行列の掛け算で近似できます。パラメータは数桁減るのに、効果はフル微調整に近い。

何が良いのか

計算が軽い
普通のGPUで動きます。何十枚ものA100はいりません。
保存が軽い
LoRAアダプタは数十MB程度。プラグインのように、いつでも読み込み・切り替え・重ねられます。
再利用できる
1つの基盤モデルに、役割の異なるLoRAをいくつも付けられます。

向いている人

オープンなモデルに独自のスタイルや専門知識を覚えさせたい、でも予算がないチームや個人にとって、LoRAはほぼ最適解です。「大規模モデルの微調整」を大企業の専売特許から、普通の開発者の日常ツールに変えました。

まとめ：LoRAは「細い一本」のパラメータだけ動かして、大規模モデル全体を動かす技術です。