Sup AI

概要

• 複数のLLMを並列実行し、各セグメントの信頼度で出力を統合するAIアンサンブル。
• 出力分布のエントロピーが低い場合は正確性が高いと判断し、重みを強める。高エントロピーは幻覚の可能性が高いとして抑制。
• Humanity's Last Examで52.15%、同時に走らせた最高単独モデルを7.41ポイント上回る。評価コード・データは公開済み。
• 利用条件はスタータークレジット$10、カード認証済み、自動課金なし。
• エントロピーと正確性の関連性を示す論文を参照し、研究と実装をオープンに継続中。