TreasuryBench

概要

• 実際の金融口座を接続したうえで、同じ個人 finance 質問を各サービスに提示し、現実の利用環境に近い条件で比較しています。
• 独立したAI審査員が12カテゴリーを採点し、回答の質だけでなく、危険な助言が含まれていないかも評価します。
• Treasuryは89点で全カテゴリー首位、Originは71点、Monarchは52点という結果でした。

主な特徴

• 評価方法、採点に使ったコード、回答の生データを公開し、第三者が結果を再検証できる透明性を確保しています。
• Treasuryの8月結果では危険な回答がゼロでしたが、他2サービスは6月時点の測定であり、最新状況とは異なる可能性があります。
• 公開データをもとに、評価結果の監査や問題点の報告まで行えるオープンなベンチマークです。

こんな人におすすめ

• AIによる資産管理・家計アドバイスの精度と安全性を、印象ではなく共通条件のスコアで比較したい人に適しています。
• 金融サービスを導入する前に、自分の口座情報を踏まえた助言がどの程度信頼できるか確認したい人に役立ちます。
• 公開データや評価手法を自分で検証し、AI金融アドバイスのリスクを慎重に見極めたい人に向いています。