QuantaLLM

総合概要: QuantaLLM は Android デバイス上で大規模言語モデルを完全に実行するオープンソースアプリ。クラウド依存なし、APIキー不要、データはデバイス内にとどまる。llama.cpp を用いた Hexagon NPU 加速と ONNX Runtime による高性能推論を ARM64 上で 100% オフラインで実現。接続なしの環境でも利用可能。