TRLoom

概要

• Hugging Face TRLのLLMファインチューニング設定を、モデルやデータセットなどを含む1つのYAMLファイルに集約できます。
• 設定ファイルを指定して1コマンドで実行でき、SFT・DPO・GRPOなどの実験を素早く繰り返せます。
• Apache 2.0ライセンスのオープンソースとして提供され、既存のTRL環境に導入しやすい構成です。

主な特徴

• インストール済みのTRLが提供するネイティブなトレーナーに対応し、特定バージョンに縛られず柔軟に利用できます。
• Hugging Face Hub上またはローカルのデータセット、W&Bによる実験管理をYAMLからまとめて設定できます。
• 同じ設定を保ったまま--modalオプションでModalのGPU環境へ切り替えられ、ローカルとクラウドで再利用できます。

こんな人におすすめ

• SFTやDPO、GRPOの実験ごとにモデル読み込みやデータセット、トレーナー設定を書き直しているMLエンジニアや研究者。
• Hugging Face TRLを使いながら、設定の再利用性を高め、ファインチューニングの試行錯誤を効率化したい人。
• 手元の環境での検証からGPUクラウドでの実行まで、同一設定でスムーズに切り替えたい開発者。