ConvoProbe

概要

• ConvoProbeはDifyチャットボット向けの自動化シナリオテストツールです。
• 複数ターンの対話シナリオを設計・自動実行して、応答品質を定量化します。
• 既存ツールはトレース・単一ターン評価に強いが、多ターン設計には対応していません。これを補完します。
• 内部ツールとして始まり公開へ。文脈喪失・情報混在・リグレッションといった課題の検出を目指します。

想定する活用像

• 実務の品質保証の基盤として、対話の連鎖的な品質を継続的に評価
• 将来は評価基準のカスタマイズや他プラットフォームへの拡張を想定