教師あり微調整

教師あり微調整（SFT）って何？

基盤モデルは膨大なテキストを読み、「続き」を書くことはできます。でもまだ「指示に従う」ことはできません。質問しても、答えるのではなく続きを書き始めてしまう。SFTは、人が丁寧に用意した「質問と模範解答」のペアで、もう一周訓練すること。それで「聞かれたことに、きちんと答える」ことを学びます。

事前学習との違いは？

事前学習：言葉そのものを学ぶ
この段階では大量に読んで「次に来る言葉」を学ぶだけ。文法や常識は身につきますが、「サービス精神」はまだありません。
SFT：答え方を学ぶ
質問と回答、指示のサンプルで「ユーザーは助けを求めているから、直接役に立つ答えを返そう」と教えます。ここでようやく「アシスタント」らしくなります。

データはどこから？

SFTの質はデータ次第。良い指示データは、人の手書き、良質な回答の選別、より強いモデルで下書きして人が校正する、などで作られます。データがきれいで多様なほど、モデルは頼りになります。

効果と限界

SFTはRLHFより低コストで、形式や指示従順を素早く学べます。ただし「模範解答を真似る」だけで、「良い」と「もっと良い」の区別はまだつきません。そこはRLHFの出番です。

まとめ：教師あり微調整は、AIに「優等生の解答」を見せて、答え方を学ばせることです。