oMLX

概要

• MacをローカルLLMの推論サーバーとして活用できる、メニューバー常駐型のオープンソースツールです。
• 会話履歴の再計算を減らすKVキャッシュをSSDにも保存し、再起動後も過去のコンテキストを素早く復元できます。

主な特徴

• テキスト、画像、OCR、埋め込み、リランキングに対応し、連続バッチ処理で複数リクエストを効率的に処理します。
• OpenAI・Anthropic互換APIを利用でき、Claude CodeやCursorなど既存のAI開発環境へ組み込みやすい設計です。
• ElectronではなくネイティブSwiftで構築され、Apache 2.0ライセンスのもとでソースコードが公開されています。

こんな人におすすめ

• Mac上でローカルモデルを使い、エージェントのループ処理や長い会話履歴の再計算による待ち時間を減らしたい人に適しています。
• Claude CodeやCursorとローカルLLMを組み合わせ、クラウドに依存しない高速な開発環境を構築したい人に向いています。