WARD: 프롬프트 인젝션에 대한 웹 에이전트의 적대적 강건 방어

요약

본 논문은 웹 에이전트가 프롬프트 인젝션 공격에 취약하다는 문제를 다루며, 이를 해결하기 위해 WARD(Web Agent Robust Defense against Prompt Injection)라는 실용적인 가드 모델을 제안합니다. WARD는 대규모 데이터셋인 WARD-Base와 전용 공격 데이터셋 WARD-PIG를 기반으로 구축되었으며, 적응형 적대적 공격 훈련 프레임워크 A3T를 통해 반복적으로 강화됩니다. 실험 결과, WARD는 높은 재현율과 낮은 오탐률을 유지하면서도 다양한 분포 변화 및 적대적 공격에 대해 강건함을 입증했습니다.

핵심 포인트

• 웹 에이전트는 개방된 웹 환경으로 인해 프롬프트 인젝션 공격에 취약하다.
• 기존 가드 모델들은 일반화 성능 부족, 높은 오탐률, 지연 시간 문제 등의 한계를 가진다.
• 제안된 WARD는 대규모 데이터셋(WARD-Base, WARD-PIG)과 적응형 훈련 프레임워크(A3T)를 사용하여 웹 에이전트의 방어력을 강화한다.
• WARD는 분포 외 환경에서도 높은 재현율을 달성하고, 낮은 오탐률을 유지하며 효율적으로 작동함을 입증했다.