Mutant-AI
ストックにはログインが必要です
評価の網羅性を広げ、レッドチームエージェントでAIシステムの脆弱性を突く
Artificial Intelligence
Developer Tools
GitHub
A/B Testing
Mutantは、評価の網羅性を広げる行動変異と、AIシステムを攻撃して脆弱性を露出させるレッドチームエージェントという2本柱を持つオープンソースのPythonライブラリです。LLMs・RAG・AIエージェントの挙動評価を自動化し、静的化しがちな評価を継続的に拡張します。データセットを再利用して新たな変異を生成することで評価カバーを広げ、 autonomous agents による攻撃検証を通じて想定外の故障モードを発見します。目的は、ユーザーに先んじてAIの失敗パターンを見つけやすくすることです。
投票数: 2