GitHub

概要

KhazadはLLM API呼び出しを透明にセマンティックキャッシュします。httpxトランスポート層でHTTPトラフィックをインターセプトし、コード変更ゼロでRedisのベクトルキャッシュから意味的に等価なリクエストを返します。

主な特徴

• 複数プロバイダ・モデルに対応
• モデルと会話を意識したキャッシュ
• 完全なストリーミング対応、TTL、調整可能な類似度閾値
• 開発・CI・デモ・本番での同一プロンプトの再利用
• MITライセンスのオープンソース

アーキテクチャのポイント

• httpxのトランスポート層での透過的インターセプト
• Redis Vector Sets を用いた埋め込みベースの検索
• ストリーミングヒットは SSE で再生、ミスはチャンクごとに再構成

想定ユースケース

• FAQボット、RAGフロントエンド、デモ環境などでのコスト削減