RunAnywhere

製品概要

RunAnywhereは、モバイルデバイス上で大規模言語モデル（LLM）を運用するためのSDKおよびコントロールプレーンです。

特徴

• オンデバイス実行：1つのAPIでGGUF、ONNX、CoreML、MLXなどのモデルをローカルに実行。
• ポリシーエンジン：リクエストごとにデバイス上で実行するかクラウドにルーティングするかを決定。
• ネイティブランタイム：iOSおよびAndroidで同じAPIを使用。
• アプリ更新不要：モデル、プロンプト、ルールの変更に際してアプリの更新が不要。
• リアルタイム分析：A/Bテストで実際に機能するものを確認。

対象ユーザー

チャットボットやコパイロット、要約機能などを開発するモバイルチームに最適。特に200ms未満で応答を提供し、プライバシーを重視する機能に適しています。

テスト方法

1. サンプルアプリをインストール（PHページにリンクあり）。
2. SDKアクセスをリクエストし、設定をサポートします。
3. ポリシーを切り替えてデバイスとクラウド間でのリクエストの変化をリアルタイムで観察。