直接偏好优化

直接偏好优化（DPO）是什么？

想让模型回答得更符合人的偏好，传统做法是 RLHF——先训练一个「奖励模型」来打分，再反过来调模型，步骤多、成本高。DPO（直接偏好优化）走了一条更直接的路：跳过奖励模型，直接用「人类更喜欢 A 而不是 B」这种偏好数据去优化模型。

它和 RLHF 有什么区别？

RLHF：绕了个弯
先训练一个评分器，再让评分器引导模型，像请了个「中间人」。
DPO：一步到位
不建评分器，直接拿偏好对来更新模型参数，流程更短、更省资源。

它的优势在哪？

更简单、更稳定
少了一个奖励模型的训练环节，就少了很多调参和可能翻车的地方。
成本更低
不用单独维护一个大模型当「裁判」，算力和工程负担都小。

它有什么局限？

DPO 依赖高质量、覆盖广的偏好数据，数据不行，效果就打折；而且在某些复杂场景下，显式奖励模型能提供更细的反馈，DPO 未必完全替代得了 RLHF。两者更多是「各有适用场景」的关系。

一句话记住：DPO 就是把 RLHF 里的「奖励模型」这步省掉，直接拿人类偏好去优化模型——更简单，也更省钱。