TwoTrim

概要

TwoTrimはLLM API用のオープンソースのプロンプト圧縮ミドルウェア。CPUのみで動作し、OpenAI/Anthropic等のAPI間のリクエスト前に不要トークンを削除。コード変更不要でコスト削減を実現。

主要機能

• 不要な埋め草・冗長文・ノイズを搾り取る（ロスレス）
• セマンティックな文スコアリングと再配置（中間情報のロストを抑制）
• 長文文書の要約にBARTを適用（積極的）
• FAISSセマンティックキャッシュで類似クエリにも対応

他社との差

• CPUのみ、GPU不要
• リファクタリング不要 — base_url置換だけのドロップイン
• LiteLLM/vLLM等で複数プロバイダを跨いで動作
• 公開ベンチマークを含むオープンソース（Apache 2.0）

用途の目安

文書要約・長文処理・繰り返しクエリがある高ボリュームのチャット／サポートに最適。極端なマルチホップRAGでの高圧縮は苦手