ej
ストックにはログインが必要です
1回の推論で型付き意思決定を行う、11MBのローカルモデル
Artificial Intelligence
GitHub
Open Source
概要
- 状態と実行時に定義する質問・選択肢から、各問いに対する確率分布を1回の推論で算出する、用途を絞った意思決定モデルです。
- CPUで動作し、トークン生成を必要としません。モデル全体を11,384,312バイトの単一ファイルに収め、オフライン環境でも利用できます。
主な特徴
- 選択式、Yes/No、順序付きスコアに対応し、さまざまな意思決定ワークフローへ組み込みやすい設計です。
- 学習・評価・モデル適応・重みのパッキング・ベンチマークのコードを収録し、推論の決定性やデータ汚染、予測の不確実性も検証できます。
- 独自のパック形式と各セクションのSHA-256検証を採用し、不要なpickleを使わず、軽量モデルを実ファイルサイズとして実現しています。
性能と適した用途
- 未知のワークフローに対する精度は約42%で、目標としていた60%には届かないなど、適用範囲と限界を率直に確認できる構成です。
- 小さなサイズ、CPU動作、オフライン推論を重視する組み込みシステムやローカル処理で、精度とのトレードオフを評価したい場合に向いています。
投票数: 0