Quansloth

概要

QuanslothはGoogleのTurboQuant実装を起点にしたローカルLLM推論用のGUIソリューションです。

特徴

• KVキャッシュを16-bitから4-bitへ圧縮し、予算型GPUでも32kトークン超の大規模文脈を扱える
• 完全エアギャップ環境でデータは外部へ出ず、ローカル推論のみ
• UIがC++ログを捕捉してクラッシュを抑制、安定したプロユース体験
• GGUFモデルをGUIから直感的にテスト可能

背景

• ICLR2026のTurboQuant実装に基づく

想定利用

• 自宅PCでの研究開発、個人利用、教育用途など