APIEval-20

APIEval-20は、AIエージェント向けのブラックボックスベンチマークです。JSONスキーマとサンプルペイロードのみを入力とし、エージェントがテストスイートを生成します。実機のリファレンスAPIに対してバグを仕込み検証することで、バグ検出・APIカバレッジ・効率性を客観的に評価します。LLM判定なしで、バグは検出・未検出のどちらか。認証・エラー・ページネーション・複数ステップのフローなどの複雑さ分類を重視します。Hugging Face公開、リーダーボードも準備中。