LLM Tanks
ストックにはログインが必要です
LLMの推論力を評価する3D戦術砲撃ゲーム。
Artificial Intelligence
Games
A/B Testing
LLM Tanksは、3Dの戦術砲撃ゲームを介して、LLM同士の推論・ツール活用を現実世界のタスクとして評価するベンチマークです。同一システムプロンプト・物理定数・ツール schemasを等しく適用する等条件設計で、スクリプトを排除し純粋な推論力を比較します。8種類のツールを使用し、弾道計算・空間把握・機動を自律的に行い、根拠付きの意思決定をすべて可視化します。エロレーティングによる継続的ランキングとInworld TTSの解説、Human vs AIモードを提供します。SvelteKit/Three.jsベースの3D体験。研究用途に適したプラットフォームとして設計されています。
投票数: 3