PyInferenceManager

概要

ローカルとクラウドのモデル間で LLM ワークロードを自動的に最適化するワークロードオーケストレーターです。

主な特徴

• DAG 分解でタスクをローカルモデル／クラウドAPI／キャッシュ／埋め込みへ賢くルーティング
• コスト・レイテンシ・プライバシー・精度をリアルタイムで最適化（30–90%節約想定）
• 動的ルーティングとマルチプロバイダフォールバック
• ローカル優先／クラウド優先モード、privacy=high 時の強制ローカル、明示的モデル登録

ハードウェアとセキュリティ

• Apple Silicon の統合メモリ検出で適切なモデル階層を選択
• ローカル実行中心、クラウドはフォールバック