DiffusionGemma

概要

DiffusionGemmaは拡散アーキテクチャを用いる26B MoEのオープンモデルです。前方計算で256トークンを並列生成し、出力が収束するまでブロックを反復的に改良します。

特徴

• 専用GPUで4x高速化: 1000+トークン/秒 (H100)、700+ トークン/秒 (RTX5090)
• 双方向アテンション: コード補完・インライン編集・非線形タスクに適合
• 26B MoE、3.8Bアクティブ、量子化時18GB VRAM、コンシューマーGPU対応
• Apache 2.0、Hugging Face公開・エコシステムサポート

注意点

Gemma 4より品質は低く、本番用途には推奨されず、スピードアップは専用GPU依存です。ローカルの高速実験向け。

ユースケース

• ローカルで高速な非線形生成実験を行いたい研究者・開発者
• Hugging Faceからウェイトを入手し、並列デコードの可能性を検証