Mobile LLM Server

概要

Android上でローカルLLM推論を実現します。llama.cppとGGUFモデルに対応し、スマホをOpenAI互換のAPIエンドポイントを備えたプライベートAIサーバーに変えます。クラウド依存のAIアプリとは異なり、全モデルを端末上で動作させるため、プライバシーと低遅延を両立します。

特徴

• 端末内完結の推論でデータを外部に流さない
• llama.cppとGGUFに対応、幅広いモデルをサポート
• OpenAI互換エンドポイントで既存スクリプトと容易に統合

使い方のイメージ

• 手元のAndroid端末でローカルサーバーを起動し、好みのツールからAPIを叩く