PyTokenCalc

概要

PyTokenCalc は、複数のプロバイダを横断してトークンを正確に数えるためのユニバーサルライブラリです。クラウド／ローカルを含む20以上のプロバイダとカスタムモデルに対応し、パターンベースの前方互換性と 99% 以上の精度を実現します。1つのライブラリ・1つの API で全プロバイダを統一的に扱える点が特徴です。

特徴

• API ごとに異なる実装を1本化
• OpenAI の tiktoken、Meta の Llama、Claude、Gemini などに対応
• 将来のプラットフォーム追加にも対応できる設計

利点

• ライブラリの乱立を解消
• API 呼び出しの遅延とコストを低減
• 開発者はトークンカウントに伴う苦労から解放され、機能開発に集中可能

導入

pip install pytokencalc