Verace V1

概要

Verace V1 は従来の4つのトランスフォーマーサブシステムを、連続的で多様体制約を満たす代替へ置換する参照実装です。直交状態更新による線形コストのアテンション、KVキャッシュなしのO(1) メモリ、デバイス間エキスパートのディスパッチ不要、トークンごとに実際の深度を適応します。

技術的ポイント

• 実行可能なテストで多様体・保存則を裏付け
• 参照実装のみで、 pretrained weights はなし

実装と公開情報

• 論文リンク: https://verace.in/research/verace-v1-architecture
• コード: https://github.com/Verace-Pvt-Ltd/Verace-V1