SentinelGateway

概要

• 特定のLLMプロバイダーに障害や過負荷が発生しても、複数のモデルへ自動的に切り替えてサービス停止を抑えます。
• 標準的なOpenAIクライアントのbase_urlを変更するだけで導入でき、既存アプリケーションのSDKや実装を大きく変える必要がありません。
• Goで構築された依存関係不要の軽量プロキシにより、ラッパーSDKや複雑なミドルウェアに頼らず運用できます。

主な特徴

• Claude、GPT-4o、Groq、Geminiなどへ25ミリ秒未満でフェイルオーバーし、5xxや429エラーによる本番環境の停止を軽減します。
• プロンプト内の個人情報を通信中にメモリ上で除去し、データを保持しない設計でプライバシーとコンプライアンスに配慮します。
• Redisのセマンティックキャッシュとリアルタイムのコスト・エラー・遅延監視により、応答を高速化し、重複したトークン消費を削減します。

こんな人におすすめ

• 本番環境で単一のLLMプロバイダーに依存しており、障害やレート制限時にも安定稼働させたい開発チームに適しています。
• 顧客のプロンプトを外部APIへ送信する際、個人情報の除去やデータ保持の最小化を重視する企業に向いています。
• 既存のOpenAI互換クライアントを活用しながら、複数モデルへの切り替え、キャッシュ、利用コストの可視化を導入したいチームに役立ちます。