Phasio

概要

Phasio は LLM プロンプトの Jest 風テストツールです。contains、notContains、llmJudge などのバリデータを使ってテストケースを作成し、npx phasio で複数プロバイダ（OpenAI/Anthropic など）へ同時に評価を実行します。CI で回帰を検出可能です。

特徴

• Jest 風の API
• 複数プロバイダ対応（GPT-4o-mini と Claude Haiku など）
• バリデータ: contains, notContains, llmJudge
• オープンソース MIT、APIキーは自分のものを使用
• GitHub Actions への組み込みが容易

使い方の流れ

• テストケースを作成
• validators を定義
• npx phasio を実行
• 結果を複数モデルで平均化し偏りを抑制

補足

MIT 版オープンソース、Docs + ダッシュボードは phasio.dev。