LoRA Speedrun

概要

• LLMファインチューニングの検証型スピードランリーダーボード。審判が3回再実行して検証する仕組みで、自己申告は使われません。
• 同一モデル・同一GPU・同一タスクで最速のトレーニングを競う。

成果と現状

• ベースラインは11分57秒。3日で1分44秒へ更新、約6.9倍の速度向上を報告。
• すべての記録は公開レポートで検証・説明され、再現性を重視。

参加方法とルール

• 参加は無料（Modalの月間無料クレジットで実行）。
• 別モデル・別タスクのトラックあり。torch.compile、QLoRA等はGitHub Issuesで公開。