名作パズルゲームの物理空間を舞台にマルチモーダル AI の3次元空間推論能力を測定するベンチマーク。
完全オープンソースで提供される3次元空間推論ベンチマークとエージェント評価ハーネス。
Portal2Bench は、現在の AI 性能評価がペーパーテスト的なテキスト処理に偏り、現実世界の3次元物理空間を正しく推論できているか測定できない課題を解決します。名作ゲーム Portal では、ニュートン力学や運動量保存の法則が支配する空間で多段階の経路計画が求められます。Portal2Bench はこの環境を厳格なベンチマークへと昇華させ、マルチモーダル AI が視覚情報から空間の奥行きを正しく把握し、ポータルを通過した際の物体の加速軌道を予測して行動を完遂できるかを徹底的に検証します。