DPO（直接選好最適化）

DPO（直接選好最適化）って何？

モデルの回答を人間の好みに合わせる従来の方法はRLHF。まず「報酬モデル」を訓練して採点させ、その採点でモデルを整える——工程が多く、コストもかかります。DPO（Direct Preference Optimization）はより直接的な道を選びます。報酬モデルを飛ばし、「人間はBよりAが好き」という選好データで直接モデルを最適化します。

RLHFとの違いは？

RLHF：遠回り
まず採点者を訓練し、その採点者にモデルを導かせる——「仲介人」を雇うようなもの。
DPO：一直線
採点者は作らず、選好ペアから直接モデルのパラメータを更新。工程が短く、省資源です。

利点は？

シンプルで安定
報酬モデルの訓練が1段階減るぶん、調整箇所や失敗の余地も減ります。
コストが低い
「審判」用の大きなモデルを別に維持しなくていいので、計算も運用負担も軽くなります。

限界は？

DPOは質が高く、カバー範囲の広い選好データに依存します。データが悪ければ効果も落ちます。また複雑な場面では、明示的な報酬モデルの方が細かなフィードバックを与えられるため、DPOがRLHFを完全に置き換えられるとは限りません。どちらも「適した場面が違う」関係です。

まとめ：DPOはRLHFの「報酬モデル」の工程を省き、人間の選好で直接モデルを最適化する方法。よりシンプルで、コストも抑えられます。