RLHF（人間のフィードバックによる強化学習）

RLHFって何？

大規模モデルは、事前学習が終わった直後は「何でも言ってしまう天才の子ども」のようなものです。知識は豊富だけど、何を言っていいか、何を言ってはいけないか、あなたが本当に欲しい答えがどれかを、まだ理解できていません。RLHF（人間のフィードバックによる強化学習）がやるのは、この子に「先生」をつけること。人間の好みを使って、少しずつ「能力もあり、加減もわかる」存在へと育てていきます。

なぜ人間の手が必要なのか

「うまく話せる」と「正しい」は別
モデルは文章を大量に生成できますが、それが欲しい答えとは限りません。「痩せる方法」を聞けば、危険な極端な方法を並べてくるかもしれません。人間のフィードバックの価値は、「その答えはダメ、こっちは良い」と教えられることにあります。
「良い」に絶対のルールはなく、人が教えるしかない
何が「役に立つ」で、何が「無害」で、何が「期待どおり」か。こうした判断はとても主観的で、機械が独りで学べるものではありません。大量の人のラベルが必要です。

RLHFはどう進むのか

第一歩：報酬モデルを訓練する
同じ質問にモデルへいくつか答えさせ、人間がその答えを良い順に並べます。その並び順データで「採点者」を訓練し、答えに点数をつけられるようにします。点が高いほど、人間が好んだ答えです。
第二歩：採点者でモデルを整える
採点者ができたら、モデルに答えを生成させて採点し、「より高い点」へ向かうようにモデルを調整します。これを繰り返すうちに、モデルは人の望みをだんだん読めるようになります。

何を解決するのか

ChatGPTのような製品が「使いやすい」と感じられる理由の大きなひとつがRLHFです。答えが人の価値観に寄り添い、でたらめを減らし、「わかりません」と素直に言えるようになります。RLHFがなければ、大規模モデルは「話せる」だけ。RLHFがあって初めて、「人に寄り添い、人の言葉を受け止める」存在になります。

まとめ：RLHFとは、人間の判断を「物差し」にしてAIを少しずつ整えること。「話せるAI」を「加減をわきまえたAI」へ変える技術です。