WhyLab

概要

• 本番環境で発生した機械学習モデルの障害について、原因仮説の立案から検証、修正後の再テストまでを一貫して支援します。
• GPT-6 Astraは調査の計画と診断ツールの実行を担いますが、仮説の正しさを自ら確認することはなく、検証結果と推測を明確に分離します。

主な特徴

• 複数の原因仮説を優先順位付けし、Astraが見ていないホールドアウトデータを使った統計的検定で、仮説を反証・検証します。
• 信頼区間、有意差検定、多重仮説検定の補正、最低サンプル数の基準を取り入れ、根拠の弱い結論は「証拠不十分」として表示します。
• Repair Labでは同一のホールドアウトデータで修正前後を比較し、改善した指標だけでなく悪化した指標も含めて結果を提示します。

こんな人におすすめ

• テストセットでは高精度だったモデルが、本番投入後に予期せぬ失敗を起こし、原因を体系的に調査したい機械学習チームに適しています。
• もっともらしい説明ではなく、統計的な裏付けのある根本原因分析と修正効果の検証を重視する、MLエンジニアやデータサイエンティスト向けです。