人工评估是什么？
有些东西机器暂时测不准——比如一段回答「读起来顺不顺」「有没有冒犯到人」。人工评估，就是请真人评估员来读 AI 的输出，从多个维度打分、写评语，判断它到底好不好。为什么离不开人？
质量是主观的「有帮助」「有创意」「语气得体」，这些标准很难用代码精确衡量，人的判断最直接。
安全需要人把关
有没有歧视、有没有危险建议，这些「红线」目前还得靠人来看。
一般怎么评？
打分让评估员按「帮助性、准确性、安全性」等维度给 1–5 分或「好/中/差」。
对比排序
把两个模型的回答并排，让评估员选「哪个更好」，这也是 RLHF 里偏好排序的基础。
写反馈
不只打分，还要说出「为什么差、差在哪」，这些文字反馈对改进模型特别值钱。
它的代价与对策
人工评估贵、慢，还容易受评估员主观影响。所以通常「人工 + 自动」搭配着用：自动化评估跑量、快速兜底，人工评估盯质量、做最终把关。一句话记住：人工评估是给 AI 请的「真人考官」——机器量不出来的「好不好用」，靠人来定。
评论