Hyperion

Hyperion は高性能な LLM ゲートウェイ。約5µs のオーバーヘッド、LiteLLM 比で約250分の1 の遅延を実現。単一の OpenAI 互換 API で、スマートルーティング、意味論＋完全一致キャッシュ、レート制限、予算管理、PII 伏字化、フォールオーバー、リアルタイム分析を提供。Go、Redis、Qdrant、ClickHouse で構築。