Sovereign-Lila-E8

概要: E8 ルート系格子を用いたGeometric Attention Transformerの新機軸。従来のスケーリングは追加パラメータだが、LILA-E8 は多様体のパッキング密度を高める。8D版は40MパラメータでSOTAに挑戦。200kステップで訓練損失0.37・検証0.44、1000トークン以上の安定性。著者コメントは「幾何学的共鳴」の実現。