Tura

概要

• 60タスクの新ベンチマークと再現可能なスクリプトを公開
• Turaは環境チェック、パッチ適用、ビルド、テスト、リント、メディア検査を再利用可能なマクロに集約
• Macro Directは39/60を969ラウンドでクリア、Codex CLI Mediumは38/60を3,140ラウンドで達成
• バックワード推論を追加すると48/60へ改善するが、コストは増加
• データセット・ログ・方法論をオープンソースで公開。検証と比較の透明性を高める設計
• 研究者が再現性を検証できるよう、公開リポジトリとベンチマークスクリプトを提供