deepseek-private-converter

概要

• OpenAI向けの構成を、1ファイルのコンバーターでプライベートなDeepSeek環境へ短時間で移行できるオープンソースツールです。
• 既存スタックの移行を想定し、サンプルのcustomer_service.pyや導入方法、コスト試算をまとめて提供しています。

主な特徴

• Trieキャッシュのヒット率96%を実現し、7.7万トークンのプロンプトで約7.39万トークンをキャッシュ。処理量を1リクエスト毎秒から25リクエスト毎秒へ高めます。
• MITライセンスで、NVIDIA GPUとHuawei Ascend 910Bの双方に対応。CI、ドキュメント、経済性の分析も公開されています。
• VPC外へデータを送らず、従量課金による予想外のコストを避けながら、同じGPUで高いスループットを目指せます。

こんな人におすすめ

• OpenAIのAPI料金を削減し、固定費ベースのプライベート推論環境へ移行したいチームに適しています。
• 機密データを自社VPC内で扱いたい企業や、NVIDIA・Huawei GPUのどちらでも運用できる構成を求める開発者に向いています。