ProviderBench

概要

ProviderBenchは、同一モデルを実行するAIプロバイダを、正規化ベンチマークと現実的なコスト指標で比較するプラットフォームです。応答時間、ファーストトークンの速度、出力速度、価格、信頼性、モデルのカバレッジといった指標を横断的に評価し、最適な組み合わせを探します。データは主にOpenRouterを起点に収集・検証し、独立したベンチマークも並行して実施します。ユーザーの体験レビューも加味して、信頼性を高めます。最終的には、開発者が workload に合ったプロバイダを選ぶための信頼できる情報源を目指します。