Dutchman Labs - Eval Studio

概要

エージェントのテストと検証を高速化するツール。反復的な評価作業を支援し、検証負荷を軽減することを目的とする。

テストランナーが非決定性をどう扱うかという難問に向き合う設計。同一入力で異なる出力を返すエージェントはバグではなく、安定したアサーションを前提とする評価フレームワークに影響を与える点を意識する。