Open-source eval framework for AI agents

概要

OWASP アジェントセキュリティ・イニシアティブ Top 10 に準拠した、AIエージェント向けのオープンソース安全性評価フレームワーク。LLMチャットボットではなく、LangChain系・CrewAI・AutoGPT風のツール連携型エージェントの攻撃ベクトルを検証します。現場のデプロイ前に実運用の失敗モードを事前に洗い出す目的です。

特長

• フレームワーク横断対応：LangGraph、CrewAI、AutoGen、OpenAI Agents SDK、Google ADK などと組み合わせて使用可能
• スタックを変えずに導入：既存の開発環境に安全性評価を追加できる設計
• 実践的な攻撃ベクトルテンプレートを提供

使い方のイメージ

CI/CD へ統合して自動回帰検証を回す、攻撃シナリオを追加・更新するだけで安全性評価を拡張

開発者の狙い

本番環境でのリスク低減と再現性の高い検証を実現。エージェントの安全性文化を促進するための実用ツールを提供