Qwen-Scope

概要

Qwen-ScopeはQwen3/3.5向けの実用的なオープンソースSAEスイート。推論時に重みをいじらず出力を制御・監査・改善でき、ベンチマークの冗長性を検出・削減し、ターゲットデータを生成・分類する。コードスイッチングなど学習後の不具合を抑制する機能も備える。14グループのSAEを網羅し、denseとMoEの両方をサポート。

特徴

• 推論時の特徴方向を介した制御、重み変更不要
• 英語で発見された特徴からのクロスリンガル有害性分類
• 特徴説明からの安全データ合成、カバー効率を評価
• コードスイッチング活性化を狙うSFT補助損失
• 反復を抑制するRL訓練信号生成
• コード不要のHuggingFace Space で探索可能

対象

• MLエンジニアとアライメント研究者

メリット

• 本番モデルのターゲット行動修正コスト低減
• 解釈可能性研究の微調整パイプライン適用
• 複数モデルに一貫したインターフェース提供

補足

• 主要モデルチームによる解釈可能性研究の実務化を志す重要な取り組みの一つ。コミュニティ拡張とツールキットの動向にも注目。