WordCanvas3D
ストックにはログインが必要です
AIがテキストを読む仕組みを可視化:トークン、埋め込み、ベクトル演算
Artificial Intelligence
GitHub
Education
Data Visualization
概要
- AIが単語ではなくトークンや数値ベクトルとしてテキストを扱う仕組みを、ブラウザ上で視覚的に学べる無料のツールです。
- 文章のトークン分割から単語の意味の配置、ベクトル演算まで、言語モデルの内部表現をインタラクティブに体験できます。
主な機能
- 任意の文章をGPTやLLaMAのトークナイザーで分割し、絵文字や多言語のテキストでトークン数が変わる理由も確認できます。
- 数千の単語を3D空間で探索し、意味の近い単語が集まる様子や、「king − man + woman ≈ queen」のような演算を観察できます。
- 初心者向けの記事とインタラクティブな図解で、トークンの基礎からTransformerの次の単語予測まで学べます。
こんな人におすすめ
- AIや大規模言語モデルの仕組みを、数式だけでなく視覚的な体験を通して理解したい初心者や学習者に向いています。
- GPT・LLaMAのトークン化、単語埋め込み、ベクトル演算を実際に試しながら学びたい開発者や教育者に適しています。
- 広告や会員登録なしで使えるオープンソースの教材を探している人や、スマートフォン・多言語環境で学びたい人にも便利です。
投票数: 4