Local LLM: MITHRIL

プロダクト概要

Mithrilは、ユーザーのプライバシーを守りながら、スマートフォン上で大規模な言語モデルを完全にローカルで運用できるアプリです。オープンソースのllama.cppやExecuTorchを活用し、データの送信やクラウドへの依存なしでAIを操作できます。

主な機能

• 推論エンジン選択: Llama.cppまたはExecutorchを選択可能
• RAGチャット機能: チャット内での文書のやりとりや会話が可能
• Metalアクセラレーション: iPhoneの性能を最大限に活かす
• 匿名ウェブ検索: duckduckgoによる検索機能を搭載（オプション）
• 音声認識機能: Open AIのWhisper cppを利用した音声からテキストへの変換
• 軽量アプリ: インストールサイズはわずか35MB

開発者からのコメント

開発者のジョシュ氏は、AIツールやローカルLLMの開発に情熱を持ち、多くの機能強化のアイデアにもオープンであると述べています。Mithrilは100%無料で提供されており、今すぐApp Storeからダウンロード可能です。