自动化评估

自动化评估是什么？

人工评估靠人一条条看，太慢太贵。自动化评估就是让程序或另一个模型来当「考官」：自动对 AI 的输出打分、查错、判断好坏，几秒钟就能处理成千上万条样本。

常见的几类方法

规则与指标
用精确匹配、BLEU、ROUGE 这类指标，比「机器答得和标准答案有多像」，适合客观性强的任务。
模型当裁判
用一个更强的 LLM 去给另一个模型的回答打分，这叫 LLM-as-a-Judge，能评语气、连贯性这些偏软的维度。
单元测试式断言
给输出设硬性约束——比如「必须返回合法 JSON」「不能出现脏话」，违反就判失败。

它好在哪、差在哪？

优点：快、便宜、可规模化
改一次提示词，几秒钟就能看到全量测试结果，这是人工做不到的。
缺点：可能「不识货」
机器评价不一定和人一致，尤其遇到创意、幽默这类主观内容时容易误判。

怎么用才靠谱？

一般是「自动兜量、人工把关」：日常迭代用自动化评估快速反馈，上线前再用人工评估做最终确认。两者配合，才既快又稳。

一句话记住：自动化评估是 AI 的「机器考官」——快、便宜、能跑量，但关键时候还得人来把最后一关。