Surogate

概要

Surogateは実用的なハードウェアの限界で動作する超高速なLLMトレーニングフレームワーク。ネイティブのC++/CUDA実行エンジン、低オーバーヘッドのPython DSL、AOTベースの自動微分エンジン、最適化されたマルチスレッドスケジューラを組み合わせ、NVIDIA GPU上で光速に近いスループットと低遅延、予測可能なマルチGPU/マルチノードのスケーリングを実現します。

特長

• SOL利用をリードするパフォーマンス
• 事前学習とファインチューニングの高速化
• エンタープライズ向けLLMOpsの統合
• 高度に最適化されたスケジューラとリソース管理

技術的ハイライト

• C++/CUDA実行エンジン
• 低オーバーヘッドPython DSL
• AOT自動微分エンジン
• マルチスレッドスケジューラ