vAquilla

vAquila は、CLI のシンプルさと vLLM の本番クラスのパフォーマンス、Docker の分離性を一つにまとめたオープンソースの推論マネージャーです。リアルタイムのGPUモニタリングと最適なVRAM比率の計算を行い、vLLM コンテナを自動でデプロイします。開発者体験を重視した1コマンド起動、Docker ネイティブランタイム、GPU/CPU サポート、ローカル Web UI を提供します。