Subquadratic LLM Solution

概要

古典的なコンピュータアーキテクチャの欠陥を発見し、AIのコンテキストウィンドウのデコヒーレンスを説明できる普遍的なパッチを作成しました。どんなLLMにもVRAM の使用をサブ二次的に抑えつつデコヒーレンスを回避できる可能性があります。公式サイトではベース版とパッチ適用後のMistral 7Bを比較しています。

特徴

• 普遍的パッチを介してVRAM利用をサブ二次的に抑制
• デコヒーレンスの回避を目指す設計
• ベース版とパッチ適用版のMistral 7Bの比較デモを掲載

対象モデルと互換性

• Mistral 7Bを基準にデモを公開
• 他モデルへの適用は検証中

注意点

• 実験段階の技術であり、商用利用時は自己責任で検証が必要