適合率(精度)って何?
図書館の続きです。今度はシステムが「機械学習入門」で100冊を返してきましたが、開いてみると40冊は小説や料理本で、機械学習とは無関係。適合率が測るのは「正確さ」。返ってきた結果のうち、本当に関連するものの割合です。再現率とはどう組み合わせる?
元から張り合う関係「漏れ」をなくそうと検索を緩めれば、無関係なものも増えます。「間違い」をなくそうと締めれば、今度は良い結果まで落としがち。適合率と再現率はシーソーの関係で、一方を上げれば一方が下がります。
場面で優先を変える
検索やレコメンドでは、人は最初の数件しか見ないので適合率が大事。医療の検査では、1件の見逃しが事故になるので再現率が大事。どちらが上という話ではなく、何を重視するかです。
適合率の計算は?
分子は「返ってきた中で本当に関連する数」、分母は「システムが返した全体の数」。100件返ってきて60件が関連なら、適合率は60%。「渡したもののうち、どれだけが当たりか」を問う指標です。適合率を上げるには
マッチングを厳しくする正確なキーワードと、関連度の低い候補の除外で「紛れ物」を減らせます。
スコアとしきい値を導入
候補に点数をつけ、しきい値を超えたものだけ残すと精度が上がります。
リランク(再順位付け)を使う
軽い方法で粗く拾い、強いモデルでもう一度並べ直すのは、適合率向上の定番です。
まとめ:適合率は「見つけたものは当たりか」。手元の答えにどれだけ本当に役立つものが含まれるかを決める指標です。
コメント