NeuronScope

概要

• LLMの予測トークンに対して、どの注意ヘッドやニューロンが寄与したのかをランキング形式で追跡できます。
• 出力結果だけでなく、特定のハルシネーションや予測に至った内部メカニズムを調査し、原因に基づくデバッグを支援します。

主な機能

• Traceで構成要素の寄与度を確認し、Activationsでレイヤーごとの活性化統計を取得できます。
• Patchによるゼロ・アブレーションで出力への変化を観察し、Circuitで有力な回路構造を試行的に可視化できます。
• Llama、Qwen、PythiaなどTransformerLens対応の249チェックポイントを利用でき、ローカル環境だけで解析を完結できます。

こんな人におすすめ

• オープンウェイトLLMの内部動作を調べたい研究者や、モデルの挙動をより深く理解したい開発者に適しています。
• ClaudeやCursorなどのAIエージェントから、Pythonコードを書かずに解釈可能性分析を実行したい人におすすめです。
• アカウントやAPIキーを使わず、MITライセンスのローカルツールとしてモデルの検証・デバッグを行いたいチームに向いています。