人手評価って何？
機械にはまだ測りにくいことがあります。「この答えは読みやすいか」「誰かを傷つけていないか」。人手評価は、実際の評価者にAIの出力を読んでもらい、複数の観点で点数をつけ、コメントを書いて、本当に良いかどうかを判断することです。なぜ人が欠かせない？
品質は主観的「役に立つ」「独創的」「口調が適切」——こうした基準はコードで正確に測りにくく、人の判断が一番直接的です。
安全は人の目が要る
差別や危険な助言といった「越えてはいけない線」は、今はまだ人が見る必要があります。
どう評価する？
採点「助けになるか・正確か・安全か」などの観点で、1〜5点や「良い・普通・悪い」をつけます。
並べて比較
2つのモデルの回答を並べ、どちらが良いか選ばせます。RLHFの好みの順位付けの元にもなります。
コメントを書く
点数だけでなく「なぜ悪いか、どこが悪いか」を書いてもらう。この文章のフィードバックがモデル改善にとても効きます。
コストと対策
人手評価は高く、遅く、評価者の主観にも左右されます。そこで普通は「人手＋自動」を組み合わせます。自動評価が大量に走って素早く下支えし、人手評価が品質を監視して最終判断します。まとめ：人手評価はAIに付けた「人間の試験官」。機械に測れない「使いやすさ」を、人が決めます。
コメント