文脈内学習(ICL)って何?
モデルを再訓練しなくても、プロンプトの中に例をいくつか入れるだけで、その場でタスクのやり方を「つかんで」くれます。文脈内学習(In-Context Learning, ICL)は、重みを一切変えず、文脈にある情報だけで新しいタスクを学ばせる仕組みです。どう動くのか
ルールではなく例を与える「英語を日本語に翻訳してください」と長々説明する代わりに、「入力→出力」の手本を2〜3組見せるだけで、モデルは真似をします。これが few-shot(少数例)です。
例に注意が向く
答えを生成するとき、モデルはその例に注意を向け、タスクのパターンを「読み取り」、新しい質問に当てはめます。
なぜ重要なのか
コストゼロで新タスクに対応従来は微調整が必要で、データも計算資源も時間もかかりました。ICLはプロンプトを直すだけ。
いつでも切り替えられる
別のタスクにしたければ、例を入れ替えるだけ。この柔軟さがプロンプトエンジニアリングの流行を支えています。
限界は?
ICLは文脈ウィンドウに縛られます。例を詰め込みすぎると窓があふれ、お互いの邪魔にもなります。微調整ほど「覚え」も良くなく、毎回例を渡す必要があります。ただ日常の多くのタスクには十分です。まとめ:文脈内学習とは「例でAIを教える」こと。ルールも訓練もなしで、いくつかの手本だけで十分です。
コメント