Rondine

Rondineはローカル環境での大規模言語モデル運用をハードウェアに合わせて最適化するオープンソースのコントロールプレーンです。RAMとVRAMを自動検出し、適合するモデルを提案、ハードウェアに合わせた設定を適用して重みをダウンロードし、OpenAI互換のエンドポイントを起動します。Apple Silicon、NVIDIA GPU、DGX Sparkを llama.cpp、MLX-LM、vLLM でサポート。推論エンジンを新設せず、実績あるランタイムを統合して、実行前にすべての起動計画を可視化します。