LLM Gateway

プロダクト概要

LLM Gatewayは、あらゆるAIモデルを1つのAPIで簡単に運用できるオープンソースのゲートウェイです。様々なプロバイダーを利用しながら、LLMリクエストを統一されたインターフェースでルーティング、管理、分析が可能です。

主な特徴

• シンプルなダッシュボード: 合計リクエスト数、使用トークン、コスト見積もりなどを一目で確認
• BYOK（Bring Your Own Keys）: 自分のキーを使用したり、クレジット、ハイブリッドモードでの使用が可能
• 詳細なアクティビティトラッキング: 各モデルの使用状況やコストを視覚的に表現
• セルフホスト可能: 自分のサーバーに設定することができる

このプロダクトは、複数のLLMプロバイダーにまたがる利便性を提供し、開発者やデータサイエンティストにとっての強力なツールとなります。