EvalCore

EvalCoreはCI内のLLMアプリ/エージェント評価を単一バイナリのテストランナーとして実現します。YAMLでケースとスコアラーを定義し、PRごとにローカルターゲットを実行。モデル呼び出しはSQLiteカセットに記録しオフライン再生、0コストで回帰を検出。終了コードは0/1。HTTP/シェルターゲット対応、決定論的スコアラー、LLMをジャッジ、JSON stdin/stdout、繰り返し試行、モデル比較、ベースライン、HTMLレポート、OTelトレースをサポート。アプリ/スコアリングは任意の言語。 Apache-2.0、アカウント/ホスティッド/ テレメトリなし。クイックスタートは約5分、ネットワーク不要。 GitHub: https://github.com/eval-core/evalcore Quickstart: https://evalcore.cc/getting-started/quickstart/