SCAO — Optimizer

概要

LLM用のスパース2次オーダー最適化器。AdamWのドロップイン置換として高いスループットを実現し、LLMの学習を約54%高速化します。

特徴

• スパースかつ2次オーダー設計
• PyTorch上で動作、AdamWと置換可能な導入性

使い方のヒント

• VRAMが8GB未満ならtrain_local.py（LoRA使用）を試す
• raw speedを知りたい場合はtrain_1m.pyを試す

開発者メモ

• 学術論文と実務のギャップを埋める取り組み
• プリコンディショナの数式やINT8実装についての質問歓迎