The Multivac

概要

盲目のピア評価によるLLMリーダーボード。推論品質をランキングする10×10のマトリクスで、回答者が誰かを隠して相互評価します。

主な特徴

• Ask Multivac（ライブ回答＋ページ共有）
• Model Pulse ヒートマップ
• 対戦比較
• データの完全エクスポート
• MITライセンスのオープンソース評価エンジン

手法のポイント

各モデルが他の全モデルの回答を4指標で採点。 memorized benchmarks ではなく推論過程を評価。

開発背景

作者はYash、Manitobaの田舎で数か月かけて開発。公開手法・MITライセンスで、Ask Multivacを自分の難問で試し、結果を共有可能。