WebArena

WebArenaって何？

チャットの中のAIはよくしゃべります。でも、ログインして、フォームに入力して、ボタンを押す——実際のウェブサイトに放り込んだら、仕事はできるのか。WebArenaは、そのための試験場です。十数個のリアルなサイト（EC、掲示板、GitLab、地図など）を用意し、具体的なタスクをAIに与え、人間のようにブラウザを操作して達成させます。

何を試すのか

ページを読めるか
ウェブページは目で見るためにできていて、モデルが読むためにできていません。まずページに何があり、ボタンがどこで、項目をどう埋めるかを理解する必要があります。
手順を計画できるか
「ニューヨーク行きの航空券を予約する」は一つの操作では終わりません。検索・比較・購入・入力と、いくつものステップに分解する必要があります。
想定外に対応できるか
レイアウトが変わり、ポップアップが出て、ログインが切れる。実際のウェブは想定外だらけ。AIは臨機応変に対応しなければなりません。

どう測るのか

WebArenaは自前で管理するサイトにタスクを置き、それぞれに明確な成功基準を定めます。AIはブラウザで操作し、システムが全手順を記録。最後に目標を達成できたかを判定します。サイトが自前で制御できるからこそ、採点は客観的で再現可能になります。

なぜ重要なのか

「ウェブを使える」ことは、AIがチャットボットからエージェントへ飛躍する鍵です。WebArenaはその能力を測定可能なスコアに変え、「ウェブエージェント」をAIの激戦区に押し上げました。

まとめ：WebArenaはAIの「ネット実技試験」。リアルなウェブ環境で実際のタスクをこなし、やり遂げて初めて合格です。