VernLLM

概要

VernLLMは、LLMクライアント向けの軽量レジリエンス層。リトライ、タイムアウト、サーキットブレーカー、キャッシュ、レートリミティング、可観測性、クロスプロバイダフォールバックを提供します。OpenAI、Anthropic、Bedrock、Geminiなど30以上のプロバイダに対応。スキーマ検証済みの出力、キャッシュの重複排除、ツール呼び出し、ストリーミング対応。フレームワーク非依存のアダプター設計でプロバイダの置換が容易です。

特徴

• 多数のプロバイダ対応
• 検証済み出力・ストリーミング・ツール呼び出し対応
• キャッシュの重複排除と同時リクエスト抑制
• オプトインの型付きAPIと実APIドキュメント付き ## アプローチ
• ターゲットごとに分離したサーキットブレーカー
• 可観測性とフォールバックの包括的サポート
• LLMインフラ運用の工数とリスクを低減