에이전트 시대의 AI 레드 팀링 재정의: 주에서 시간으로

AI 시스템은 의료, 금융, 국방 등 핵심 분야로 진입하고 있지만 여전히 적대적 공격에 취약합니다. AI 레드 팀링 (AI Red Teaming) 은 주요 방어 수단이나, 현재 접근 방식은 운영자를 수동적이고 라이브러리 특화된 워크플로우로 강요합니다. 운영자는 공격, 변환, 점수 계산기를 조립하는 데 주를 보내며 워크플로우를 수작업으로 만듭니다. 결과가 부족할 때 워크플로우를 다시 구축해야 합니다. 결과적으로 운영자는 보안 및 안전 취약점을 탐지하는 데 시간을 더 많이 보냅니다. 우리는 오픈 소스 Dreadnode SDK 를 기반으로 한 AI 레드 팀링 에이전트를 소개합니다. 이 에이전트는 45 개 이상의 적대적 공격, 450 개 이상의 변환, 130 개 이상의 점수 계산기를 기반으로 워크플로우를 생성합니다. 운영자는 다중 에이전트 시스템, 다국어, 멀티모달 타겟을 탐지할 수 있으며, 무엇을 탐지해야 하는지에 집중하고 구현 방법을 어떻게 해야 하는지에 집중하지 않습니다. 우리는 세 가지 기여를 합니다: 1. 에이전트 인터페이스. 운영자는 Dreadnode TUI (Terminal User Interface) 를 통해 자연어로 목표를 설명합니다. 에이전트는 공격 선택, 변환 구성, 실행 및 보고 처리하며, 운영자는 레드 팀링에 집중할 수 있습니다. 주에서 시간이 압축됩니다. 2. 통합 프레임워크. 전통적인 ML 모델 (적대적 예시) 과 생성형 AI 시스템 (제일브레이크) 을 탐지하는 단일 프레임워크를 제공하여 별도의 라이브러리가 필요하지 않게 합니다. 3. Llama Scout 사례 연구. 우리는 Meta Llama Scout 를 레드 팀링하고 0 개 인간 개발 코드를 사용하여 공격 성공률을 85% 로 높이며 심각도를 1.0 까지 달성했습니다.