Duplex
ストックにはログインが必要です
マルチプレックス型 LLM 推論エンジン
Artificial Intelligence
Developer Tools
GitHub
Tech
概要
Duplexは、ローカルノードの重み(Ollama、LM Studio)と最先端クラウドモデルを同時にリアルタイムで検証できる推論エンジンです。分散型設計により、複数のAIモデルを同時にルーティング・比較でき、推論パイプラインの評価を迅速化します。プライバシーを最優先し、エンジニアリング優先の実装方針を採用しています。
特長
- ローカルとクラウドの混在環境でのマルチモデル推論
- リアルタイムのプロンプトテストと比較
- 複数モデルのルーティングと出力の可視化
使い方のポイント
- すぐに対話の推論比較を開始可能
- カスタムモデルの組み合わせを試せる
投票数: 3