OpenAnchor

概要

OpenAnchorは、LLM API呼び出しを傍受するトークン・インテリジェンスのミドルウェア。六つの指標でトークン消費を測定し、パターンと異常を検出して、実践的な最適化提案を提供します。OTEL経由で観測ツールへインサイトをストリーム可能。

特長

• アプリとLLMプロバイダ間の呼び出しをキャプチャ
• トークン数、遅延、プロンプト詳細、応答品質を記録
• トークンの流れを分析し、コスト偏りを可視化
• 推定トークン節約を伴う具体的最適化案を提示
• LangChain/LlamaIndexや生のAPIプロキシモードと深く統合
• データベースストレージ（PyTokenCalc）

対象

• トークンコスト削減やパフォーマンス監視、プロンプト設計の改善を目指す開発者/運用チーム