Qwen3.8-Flash-Next

概要

• Qwen3.8-Flash-Nextは、Qwen4で採用される可能性がある新アーキテクチャを先行公開する、1250億パラメータのマルチモーダルMoEモデルです。
• 総パラメータ数は大規模ながら、推論時に利用するアクティブパラメータを60億に抑え、計算量を抑えながら高い能力を目指しています。

主な特徴

• QSAにより長いコンテキストからの情報検索を効率化し、Gated Residualによってネットワーク内で情報が通過できる経路を増やしています。
• N-gramメモリは、トークンごとの計算負荷をほとんど増やさずにモデルの記憶容量を拡張し、Muonも含む新しい設計を構成しています。

こんな人におすすめ

• 次世代の大規模言語モデルアーキテクチャを、完成版の登場前に実際のモデルとして検証・研究したい開発者や研究者に適しています。
• オープンウェイトを使って自分の環境でモデルを動かし、マルチモーダル性能や効率性を試したい機械学習エンジニアに向いています。