tldt — Too Long, Didn't Tokenize logo

tldt — Too Long, Didn't Tokenize

データとエージェントを保護しつつ、トークンを節約

Artificial Intelligence GitHub Search Data Science

tl;dt は、長文を文脈付きで要約する CLI/ライブラリで、API呼び出しやドキュメントのアップロード、クロールサイトなどトークンの過多を抑えるデータを対象に設計されています。LexRank/ TextRank に基づく要約、OWASP LLM Top 10 対応、Unicode Confusables 保護、HTML↔Markdown 変換、テキストのサニタイズ、PIIとAPIキーのクリーニング、APIキー不要、Go ライブラリとしてエージェントが直接AI APIを呼べる機能、エージェント型のコーディングを支えるスキルを提供します。出力サイズの制御や文脈保持を重視して、ローカル処理の安全性とコスト効率を高めます。

投票数: 1
← 投稿一覧に戻る