Parity: Auto-evals for harness changes

概要

Parityはエージェントチーム向けの検証ツール。プロンプトやハーネスの変更が挙動に影響するかを自動で検出・分析し、既存の評価カバレッジを確認したうえで、目的別のプローブ評価を自動生成して新挙動を早期に検証します。

何を解決するか

手動のスポットチェックや雰囲気テストでは、変化点と影響範囲を結びつけるのが難しい。

主な機能

• 変更点の検出と差分の特定
• 評価カバレッジの整合性チェック
• 変化を検証するターゲットプローブの自動生成

想定ユーザー

エージェント開発・検証チーム、信頼性を重視するQA担当

使い方のヒント

PRの変更を継続的に監視し、評価を自動実行。影響範囲を把握し、挙動の安定性を高める