TaskBill — Cost-Per-Task Benchmark Kit
ストックにはログインが必要です
あなたのタスクが各LLMモデルでいくらかかるかを測定
Artificial Intelligence
Developer Tools
概要
- LLMの100万トークン単価ではなく、実際のワークロードを基準にタスク1件あたりのコストを測定できるキットです。
- 複数プロバイダーで同一タスクをN回実行し、平均、p50、p90まで含む財務向けのコストレポートを作成できます。
主な特徴
- ウォームアップの除外、外れ値の扱い、トークナイザーの注意点を含む手順書で、再現性のある計測を支援します。
- 標準ライブラリのみで動作するCLIを採用し、APIキーを手元のマシンから外部へ送信せずに利用できます。
- キャッシュヒット・ミスの分離、results.csv、1ページの財務サマリーテンプレート、出典と日付付きの料金表を収録しています。
こんな人におすすめ
- モデル選定やコスト管理のため、トークン単価ではなく自社の実タスクに基づいてLLM費用を比較したいチームに適しています。
- 料金改定やキャンペーン終了による価格変動を追跡し、出典付きの数字で社内の財務・意思決定を説明したい人に向いています。
投票数: 1