SWE-bench

SWE-benchって何？

GitHubを開くとissueがずらりと並んでいます。バグの報告、機能の要望。SWE-benchは、そうした実際のissueを集め、対応するコードリポジトリと最終的な修正を組み合わせてAIを試します。モデルに問題の説明を渡し、コードを読み、問題を特定し、テストを通るパッチを書けるかを見るのです。

従来のプログラミング問題との違いは？

問題は現実から
人工のアルゴリズム問題ではなく、PyTorchやDjangoのような実際のオープンソースで報告されたもの。AIが相手にするのは数十行のコードではなく、コードベース全体です。
テスト通過で採点
パッチは「それらしく見える」ではダメ。プロジェクト付属のテストを通過して初めて、本当に直したことになります。

どうAIを試すのか

入力
issueの説明とリポジトリ全体。
出力
コードの変更（パッチ）。
判定
パッチを適用して関連テストを実行。通れば正解です。

なぜ重要なのか

SWE-benchが現れるまで「AIはコードが書ける」を測るのは難しかった。SWE-benchは実務に近い物差しを与えました。「アルゴリズム問題を解く」から「実際のプロジェクトを直す」へ。AIのコーディング能力の大きな飛躍であり、各社の大規模モデルがしのぎを削るランキングの場です。

まとめ：SWE-benchは実際のGitHub issueでAIを試し、バグが本当に直り、テストが通って初めて勝ちと認めるベンチマークです。