UNC

概要

• HuggingFaceトランスフォーマーの最適化推論用コンパイラ。ランタイムフレームワークや Python 不要のネイティブ Metal 推論バイナリを Apple Silicon 上で提供します。

特長

• 25% の GPU 電力削減と 1.7x のエネルギー効率向上
• 8.4x の CPU 命令削減で発熱・電力を低減
• JIT/AOT コンパイル設計により CPU フットプリントを最小化

パフォーマンス例

• 152 tok/s、11.3W、5.3B CPU 命令
• mlx-lm 比での電力効率の改善を目標