Phalanx vs the World

概要

• Phalanxと無防備なモデルを同一条件で比較し、プロンプトインジェクションや脱獄への対応差を公開プロトコルで検証できるチャレンジ環境です。
• 攻撃の成否だけでなく、アプリケーション内でどのテキストを命令として扱い、どのテキストを単なるデータとして扱うかという権限境界を検証します。

主な特徴

• 直接的な脱獄、間接プロンプトインジェクション、無害な類似入力、複数ターンの複合攻撃に対応し、完了したセッションから安全な公開用記録を生成します。
• DANによる乗っ取り、無害なセキュリティ関連の依頼、意図が曖昧なサイバーセキュリティ依頼など、異なる判断例をデモで確認できます。
• Phalanxは顧客環境で稼働する約1.5GBの制御レイヤーで、プロンプトや応答、文書、証拠、顧客情報をInvarraへ送信せずに保護処理を行います。

想定ユーザー

• LLMアプリケーションにおけるプロンプトインジェクションや脱獄対策を、実際の攻撃パターンと比較テストで評価したい開発者やセキュリティ担当者。
• モデルの挙動だけでなく、命令とデータの権限分離や、曖昧な依頼への確認フローまで含めて検証したいチーム。
• 公開された採点ルールや安全な検証記録をもとに、LLM防御製品の有効範囲と限界を批判的に確認したい研究者や評価者。