Gradian

概要

GradianはLoRAでファインチューニングしたLLMの訓練データ帰属を行うオープンソースツールです。訓練サンプルを、失われた能力に対する寄与度としてスコア化し、どのデータが能力の改善や低下を生んだかを可視化します。さらに、失敗の影響を検証するためのデータセットと設定の検証を一連で実行します。データだけでなく、切り捨てられた完了、EOSトークン欠落、プロンプト上の損失計算、訓練と評価の汚染、ハイパーパラメータの不整合といった要因も解析します。初期には意図的に Poison された例が有益と誤認される問題にも対処し、モデルの実際の予測勾配を差し引く手法でランキングの現実性を高めました。