Benchspan

製品概要

BenchSpanはAIエージェントのベンチマークを高速・安価・安定にするプラットフォーム。エージェントを一度登録してクラウド上で並列実行、結果を一元管理。失敗箇所だけ再実行し、コミットハッシュで結果を比較可能。同一環境・同一設定を保証し、チーム全体で同じデータを共有します。

特徴と利点

• bash で動く任意のエージェントをサポート。フレームワークのロックインなし。
• massively parallel 実行。各インスタンスは独自の Docker。大規模ベンチマークの時間を大幅短縮。
• 失敗箇所だけ再実行。結果を統合して二重払いを回避。
• 同一環境・同一設定・同一ハッシュで再現性を保証。
• 真実の情報源により、全員が同じ結果を把握。

使い方

1. エージェントをオンボードする。小さな bash スクリプトで標準入力を渡す。
2. ベンチマークを選んで実行。
3. 結果は自動的に集約・比較可能。