LifeVal

概要

• LifeValは、育児サービス探しや家計管理、食料品の注文、行政手続きなど、現実の生活で役立つAIの実務能力を評価するベンチマークです。
• 試験問題ではなく、米国の時間利用調査や独自に実施した3,995人への調査をもとに、利用者が実際に助けを求めたいタスクを設計しています。

主な特徴

• チャットで回答するだけでなく、ブラウザー操作やコンピューター操作、外部コネクターを使って、モデルが実際に目的を達成できたかを評価します。
• OpenAIは過去1年間、LifeValをモデル改善の指標として活用しており、GPT-6 Astraは車検の予約や予算内での食料品注文などで最高100%の記録スコアを達成しています。

こんな人におすすめ

• AIエージェントを開発する人にとって、日常の利用者がどのような仕事をAIへ任せたいのかを把握し、評価項目を設計するための実践的な指針になります。
• 企業でAI導入や業務自動化を進めるチームにも、自社の問い合わせ履歴や業務ログをもとに、現実的なエージェント評価を構築する考え方を提供します。