Raptor Data

概要

• Rust 製の AI ゲートウェイ。アプリと LLM プロバイダの間に挟み、リクエストを処理します。
• セマンティックキャッシュにより似たクエリは 10ms 未満でキャッシュから返却、API 費用を 30-50%削減。
• セマンティックファイアウォールが意図ベースで jailbreak などを検知・遮断。
• ホットパッチ機能で特定応答を数秒で上書き、再デプロイ不要。
• 観測性ダッシュボードで全リクエストを追跡・分析可能。
• 技術要点: Axum/Tokio、ONNX 埋め込みをバイナリ内で実行、OpenAI 互換 API に対応、ストリーミング対応。
• 導入は約 2 分。ベース URL と 2 ヘッダを設定するだけ。無料プランあり。