Belay

概要

• AIエージェントのMCPツール呼び出しを仲介し、サンドボックス環境で安全に実行・検証するセルフホスト型のハーネスです。
• 各ターンの実行前状態を保存して復元し、同じ呼び出しを再実行。モデルの判断ではなく、実行結果と状態差分から判定します。
• 判定はPASS、WARN、FAIL、UNVERIFIEDで示され、確認できない内容を合格扱いにしない設計です。

特徴

• macOSとLinuxに対応し、MCP境界を越える処理を検証します。ネットワークは計測対象外として明示的にNOT_COVERED扱いにします。
• モデル補助の判定軸を無効化してもPASS/FAILが変わらないことをテストで保証し、LLMによる単純な評価とは異なる仕組みを採用しています。
• トレースと状態を外部へ送らず、Apache-2.0でセルフホスト可能。pipやDockerから導入できます。

こんな人におすすめ

• AIエージェントを無人運用し、報告されたテスト結果や作業完了を、再現可能な実行証拠に基づいて確認したいチームに向いています。
• エージェントのツール呼び出しを自社環境内に閉じ込め、外部サービスへトレースや状態を送らずに検証したい開発者に適しています。
• 検証結果の限界や未確認領域を明確にしたい人、失敗事例を蓄積してエージェントの信頼性を継続的に高めたい人に有用です。