Duplex  logo

Duplex

マルチプレックス型 LLM 推論エンジン

Artificial Intelligence Developer Tools GitHub Tech

概要

Duplexは、ローカルノードの重み(Ollama、LM Studio)と最先端クラウドモデルを同時にリアルタイムで検証できる推論エンジンです。分散型設計により、複数のAIモデルを同時にルーティング・比較でき、推論パイプラインの評価を迅速化します。プライバシーを最優先し、エンジニアリング優先の実装方針を採用しています。

特長

  • ローカルとクラウドの混在環境でのマルチモデル推論
  • リアルタイムのプロンプトテストと比較
  • 複数モデルのルーティングと出力の可視化

使い方のポイント

  • すぐに対話の推論比較を開始可能
  • カスタムモデルの組み合わせを試せる
投票数: 3
← 投稿一覧に戻る