BaseRT

BaseRTはApple Silicon上で最速のLLMランタイム。1コマンドで導入してローカルのモデルを実行。M5 Proの新しいテンソルコアとMetal 4テンソルAPIを活用して高いスループットを実現。主要なベンチマークと構成を紹介。オンデバイス推論の普及を支えるテクノロジーとして位置づけられる。今後の展開やAPIの情報共有も継続予定。