PunditBench

概要

• 試合開始前に43種類の現行モデルによる各週のリーグ戦予測を確定し、後から内容を都合よく変更しにくい形で記録します。
• 予測ファイルのハッシュ値とモデル・バージョン情報をキックオフ前に付与し、結果が確定するたびに自動採点します。
• 欧州5リーグを対象に、公開されたデータ、評価手法、リアルタイムのランキング表を通じてLLMの予測性能を比較できます。

特徴

• 予測を事前登録してハッシュ化することで、試合結果を見た後に予測を修正したり、都合のよい結果だけを示したりする余地を抑えます。
• ベンチマークの採点方法と監査証跡を公開し、モデル比較の再現性や評価プロセスの透明性を重視しています。
• 予測データを基盤として、結果発表後に提供する5ユーロの分析ブリーフも試験的に用意しています。

こんな人におすすめ

• サッカー予測におけるLLMの実力を、事前登録されたデータと一貫した採点で客観的に比較したい人に適しています。
• AIベンチマークの評価設計、スコアリング手法、改ざん防止や監査可能性に関心がある研究者・開発者向けです。
• 賭けやオッズではなく、公開データに基づく予測分析やスポーツデータ可視化を情報収集目的で見たい人に向いています。