Shimmy v2.0

概要

• 純粋な Rust 製 GGUF 推論エンジン。
• GPU 推論は WGSL を使った手書きシェーダで実現。
• C/C++/Python/CUDA への依存はなし。
• TinyLlama、Llama 3.2、Phi、DeepSeek などを GGUF ファイルから実行可能。
• AnythingLLM、Open WebUI、Cursor、Zed などを Ollama/OpenAI API 経由で接続。
• Windows/Mac/Linux 対応。プライバシーを重視し自己運用を推奨。