Reame

概要

CPU中心のLLM推論サーバーで、llama.cpp 上、OpenAI 互換 API を提供します。安価なハードウェアでも狭く反復的なワークロードを想定。

主な特徴

• 永続的な共有プレフィックスKVキャッシュ
• Palimpsest による将来トークンの無料下書き
• 自己規制推定
• ARCA 共有メモリ
• OpenAI互換 API

留意点

• ChatGPT代替ではなく、 frontier 推論には大規模モデルが必要
• 実機ベースの測定と欠点も公開

使い方

OpenAIクライアントを指す設定。reame run qwen2.5-1.5b --serve

ライセンスと技術情報

MIT、C++17、254 テスト、Linux + macOS CI、事前ビルドバイナリ、Homebrew、リポジトリURL