EchoCache

概要

• EchoCacheは、表現が異なっていても意味が同じユーザー質問を検出し、過去の回答を再利用するLLM API向けキャッシュレイヤーです。
• 受信プロンプトを埋め込み化して過去のクエリとの類似度を確認し、一致すればキャッシュを返し、不一致なら通常どおりLLMプロバイダーへ転送します。

主な特徴

• OpenAI、Anthropic、Gemini、OpenAI互換APIなどに対応し、アプリの接続先をEchoCacheに変更するだけで導入できるドロップイン型の構成です。
• セマンティックキャッシュによりAPI利用料を最大80%削減し、キャッシュヒット時の応答を30ミリ秒未満まで高速化します。

こんな用途に適しています

• 同じような問い合わせが繰り返されるカスタマーサポートエージェントや社内アシスタントなど、LLM APIの呼び出し回数が多いサービスに適しています。
• 小規模なトラフィック向けの無料プランから、本番環境や高トラフィック用途向けの有料プランまで、利用規模に応じて導入できます。