TextCompressor

概要

TextCompressorは、LLMへ送る前のプロンプトを自動で圧縮するドロップインプロキシ。意味を損なわず、停止語やフィラーを除去します。既存のOpenAIクライアントをそのままAPIへ向け、1つ header の追加で即利用可能。圧縮にはAIを使わず、CPUのみで処理します。

特徴と効果

• ライト: トークン削減16.7%、精度低下約2.7ポイント
• ミディアム: トークン削減33.5%、精度低下約5.1ポイント
• アグレッシブ: トークン削減45.9%、精度低下約6.6ポイント

対応プラットフォーム: OpenAI、Anthropic、Ollama、LM Studio など、OpenAI互換環境で動作。

技術的ポイント

• 圧縮はAIなしのCPU処理
• 既存クライアントとAPIの組み合わせで導入が容易