Mesh LLM

概要

余剰計算資源を自動構成のP2P推論クラウドに変換します。複数モデルの同時実行・提供が可能で、場所を問わず自分のプライベートモデルへアクセスできます。資源を他者と共有してエージェントがP2Pで協力することで、分散推論を実現・検証する場を広げます。使い方は自動設定・自動最適化を前提としており、手間なく開始できます。作者コメントは“推論のSETI at Home”を想起させ、共同利用と探求の精神を示唆します。