PromptDiff

概要

PromptDiffは1回のAPIコールで複数モデルのLLM出力を比較できるツールです。プロンプトをPOSTし、比較したいモデルを指定すると、各モデルの出力、待機時間(ms)、トークン数、コスト(USD)を返します。Claude/GPT-4o/Gemini/Grokの8モデルを4プロバイダ分サポート。SDK不要でcurl/Python/TypeScriptに対応。無料は月100 eval、カード不要。

特長

• 1回のリクエストで複数モデルを並べて比較
• 構造化データでCI/CDやテストに使いやすい
• JSON入出力の設計で使いやすさを追求

ユースケース

• プロンプト回帰テスト、モデル比較、品質チェック