Baldur KSL
ストックにはログインが必要です
自分のGPUで35BパラメータのAIモデルを185%高速で実行する
Artificial Intelligence
Tech
Software Engineering
自分のGPU上で35Bパラメータ級のAIモデルを高速化する高性能推論エンジン。Mixture-of-Expertsモデルを対象に、独自最適化で消費者向けNVIDIA GPU上でクラウド並みの推論性能を提供。ローカル実行の利点(プライバシー・コスト削減)とクラウド利点の両立を狙う。著者コメントは、日常利用を想定した実用性の向上に焦点。
投票数: 1