LLM-as-a-Judge（LLMによる自動評価）

LLM-as-a-Judgeって何？

モデルを更新したあと、本当に良くなったかどうか、どう確認する？ 一番確かなのは人が1件ずつ採点すること。でも高くて遅い。LLM-as-a-Judgeは「ジャッジモデル」に審査させます。評価対象モデルの回答を渡し、事前に決めた基準で採点させ、コメントを書かせ、良し悪しを判定させるのです。

どう審査する？

ペア比較
AとBの回答を並べ、どちらが良いかを判定させます。「新版で退化していないか」の確認向き。
単体採点
1件の回答に点数や等級をつけます。関連性、正確さ、役立ち度など。
ルーブリック評価
詳細な採点基準を先に渡し、項目ごとに照合させて主観のブレを減らします。

魅力は？

速くて安い
人は1件に数分。ジャッジモデルは数秒で、コストは桁違いに低い。
スケールする
1日に数千、数万件の評価も問題になりません。
再現できる
プロンプトとパラメータを固定すれば結果はほぼ再現可能。回帰テスト向き。

落とし穴

ジャッジにも偏りがあります。長い回答を好み、自分の文体を好み、事実の誤りを見落とします。だから人を完全には置き換えられません。よくあるのは「ジャッジが一次選別し、人が抜き取りで確認」、あるいは複数のジャッジで交差採点する方法です。

まとめ：LLM-as-a-Judgeは「AIを試験官にする」こと。速いですが、その点数を鵜呑みにしないこと。