modelchain

概要

コスト・レイテンシ・品質に基づき、OpenAI/Anthropic/Geminiや任意のHTTPエンドポイントへ prompts をルーティングする、依存関係ゼロの LLM ルーター。

特徴

• 7戦略でリクエストを分配（コスト優先、品質優先、コスト-品質、レイテンシー優先、重み付け、ラウンドロビン、連続フォールバック）
• 非同期ストリーミングの正規化とツール呼び出しの統一
• 予算上限の強制
• スコアラーによる動的適応

実装・品質

• ランタイム依存なし、Vitest 4 で 182 テスト合格、76% カバレッジ、SLSA 公開
• SemVer の契約におけるゴールデンルーティング

使い方

• CLI プロキシ: npx takk/modelchain start --port 8788

備考

• Prisma 的な設計思想