DecGuard
ストックにはログインが必要です
確率的なAI判断の信頼性をテストするツール。
Artificial Intelligence
GitHub
Open Source
概要
- DecGuardは、選択肢・真偽値・順位付きスコアなどを返すAIの判断を、再現可能なレポートとして検証できるオープンソースツールです。
- 意思決定を小さなDecision Contractに定義し、任意のバックエンドで同じ契約を使ってテスト、再実行、比較、監視を行えます。
主な機能
- 精度やキャリブレーションを測定し、モデルやバックエンドの変更による信頼性の低下を比較・検出できます。
- 選択肢の並べ替えや無害なフォーマット変更で結果が変わらないかをファジングし、CIでPASS/WARN/FAIL判定を自動化します。
- 本番データや特定セグメントの記録をオフラインで再生し、実運用における信頼性を確認できます。
こんな人におすすめ
- 構造化された確率的判断を生成するAIシステムを開発し、一般的なLLM評価とは異なるテスト手法を求めているチームに適しています。
- モデルや推論バックエンドの更新時に、キャリブレーションや挙動上の前提条件をCIで継続的に検証したい開発者向けです。
- 実運用データでの再現性やセグメント別の信頼性を重視し、初期段階のオープンソースツールを試して改善点を検討したい人に向いています。
投票数: 2