ファインチューニング

ファインチューニングとは？

汎用の大規模AIが詩を書いたり雑談できても、あなたの会社の財務諸表を分析させたり、雇用契約書をチェックさせると、とんでもない答えを返したり、平気で架空の法律条文を作り出したりすることはありませんか？AIがバカなのではなく、あなたのデータを一度も見たことがないだけです。公開Webデータで学習しているので、専門領域では役に立ちません。

ファインチューニングはその問題を解決します。イメージとしては、大学を出たばかりの新入社員（事前学習モデル）を採用し、実際の部署でOJT（実務研修）をしばらく行う（あなたの分野のデータを渡す） ようなものです。その後、仕事が格段にスムーズになります。

大規模モデルは、すでにインターネット上のほぼすべての公開テキストを読み込むのに巨額の費用をかけて「事前学習」を済ませています。言語能力と常識はしっかり身についています。しかし、特定のタスク（小紅書の投稿作成、皮膚病の診断、法律契約の翻訳など）には不十分です。そこで、あなたの分野の数百〜数千のQ&A、仕様書、カルテを追加で学習させます。ゼロからではなく、既存の能力をあなたの方向に「微調整」するだけです。計算コストは最初からの訓練より桁違いに低く、効果はすぐに現れます。

ファインチューニングには種類があります。全パラメータを調整する「全量微調整」は高性能ですが高コスト。最近注目のLoRAのように、ごく一部だけを調整する手法もあり、これは小さなプラグインを追加するようなもので、変更が少なく高速・低コストです。

ただし、万能ではありません。質の悪いデータで学習するとモデルが歪み、元々の能力を忘れてしまう（破滅的忘却）こともあります。また、ファインチューニング後はそのタスクに特化するため、他の質問には鈍くなります。つまり、汎用機を専門機に変えるもので、汎用性を高めるものではありません。

要するに、少ないコストで汎用AIをあなた専用のAIにする方法です。過信せず、上手に使えば強力な武器になります。