PromptTokenizer

概要

PromptTokenizer はブラウザ上でトークン化を可視化する無料ツールです。色分けチップで各トークンを視覚化し、GPT-4・Claude・Llama など複数モデルのトークン数を比較します。プロンプト設計、RAG のチャンクサイズ最適化、API コストの見積もり、モデル比較の準備に役立ちます。100% ブラウザ内で動作し、プライバシーを重視します。

特長

• 色分け表示でトークンを直感的に把握
• トークン数の計測とモデル比較が可能
• 現在 GPT 系モデルをサポート、Claude・Gemini・Llama・Mistral 等の追加予定
• 高コストのパターンを事前に検出しコスト削減に活用

使い方

• システムプロンプト設計
• RAG チャンクサイズの最適化
• モデル選択前の比較

アクセス

• 無料・プライバシー重視、全てブラウザ内で完結