nuhuh

概要

• コーディングエージェントの最終報告を仮説の一覧として扱い、テストやファイル、実行結果を実際に再検証するStop hookです。
• 誤った完了報告を検出すると、検証結果の証拠をエージェントへ返し、作業を自動的に再開させます。
• ローカルかつ決定論的に動作し、APIキーは不要。MITライセンスで利用できます。

主な特徴

• テストスイートをクリーンなプロセスで再実行し、実際の終了コードやディスク上のファイル、localhostの応答まで確認します。
• 正解データがツールの存在を知らないベンチマークを備え、nuhuh自身の誤検出も発見して回帰テストに反映します。
• NUHUH_STRICT=1では、検証可能な主張を含まない完了宣言も差し戻せるため、CIやバッチ処理など無人運用に適しています。

利用に向いている人

• 「すべてのテストに合格した」といったエージェントの自己申告を、実行結果に基づいて厳密に検証したい開発者。
• CIやバッチ処理など、人手による確認なしでコーディングエージェントを動かし、誤った完了を防ぎたいチーム。
• 導入前に挙動を試したい人は、インストール不要のnpx nuhuh demoで、偽の報告が検出される流れを短時間で確認できます。