Squirrel LLM Gateway
ストックにはログインが必要です
自動ルーティングでAPIコストを削減する、オープンソースのLLMゲートウェイ
Artificial Intelligence
Developer Tools
GitHub
概要
- オープンソースの LLM APIゲートウェイ。OpenAI や Anthropic などのプロバイダを一元管理。
主な特徴
- 知的ルーティングと最安値プロバイダへの自動切替、ダウンタイムなしのフェイルオーバー
- 完全なリクエスト/レスポンスログ(ストリーミング含む)と現代的な管理ダッシュボード
- ハードコードされたモデル名を避け、仮想名のマッピングでアプリを一行変更で更新
導入の利点
- コスト削減と運用の一元化
- MITライセンスのオープンソースで拡張性が高い
投票数: 2