dutchman labs - Eval Studio

概要

Eval StudioはCLIを中心に設計されたエージェント評価ツールです。コードベースから直接評価を実行でき、エージェントを自動検出します。エージェントのロジックに基づく評価データセットを生成し、ローカルでのテストを実行。失敗と挙動のギャップを可視化し、結果をJSON/CSV/pytest形式でエクスポートします。

主な特徴

• 自動検出
• データセット生成
• ローカル実行
• ギャップの可視化
• 輸出形式: JSON/CSV/pytest

利点

• 実運用前の検証を自動化し再現性を高める
• 開発サイクルを短縮