AgentDojo 읽기

arXiv: 2406.13352 (NeurIPS 2024 Datasets & Benchmarks)

이 논문이 답하고 있는 질문

신뢰할 수 없는 데이터(이메일이나 웹 등)를 도구(Tool)를 통해 다루는 LLM 에이전트에서, "실용성(Utility)"과 "보안성(Security)"의 트레이드오프(Trade-off)를 동적이고 상태 유지(Stateful)가 가능한 환경에서 어떻게 측정할 것인가.

무엇을 측정하기 위한 것인가

측정 대상: 도구를 호출하여 외부 환경과 상호작용하는 LLM 에이전트의 프롬프트 인젝션(Prompt Injection)에 대한 내성과 태스크 수행 능력.

측정 단위: 하나의 "사용자 태스크"와 하나의 "공격자의 목표(주입 태스크)"를 결합한 "보안 테스트 케이스"를 1회 시도로 함.

환경 구성

에이전트가 할 수 있는 것: 이메일 송수신, 캘린더 관리, 클라우드 스토리지 조작, 인터넷 뱅킹 송금, 여행 예약 등 총 74종류의 도구를 사용할 수 있음.

태스크가 주어지는 방식: 자연어로 된 지시(예: "오늘의 일정을 요약해줘")로 주어짐.

공격이 들어오는 경로: 도구가 가져오는 외부 데이터 내의 "공격 플레이스홀더(Attack Placeholder)"(예: 수신 이메일 본문이나 웹페이지 내용)를 통해 간접 프롬프트 인젝션(Indirect Prompt Injection)으로서 침입함.

두 가지 성공을 어떻게 구분하고 있는가

태스크가 달성되었는가 (utility): 판정 방법 → 결정론적인 "유틸리티 함수(Utility Function)". 실행 전후의 환경 상태(State) 변화와 모델의 출력을 검사하여 사용자의 의도가 달성되었는지 판정함.

공격이 성공했는가 (security): 판정 방법 → "보안 함수(Security Function)". 공격자의 목표(예: 기밀 정보의 외부 전송)가 환경 상태에서 실행되었는지를 감시함.

왜 두 가지가 필요한가: 방어책을 도입했을 때, "공격은 막았지만 본래의 업무도 수행할 수 없게 된 상황(실용성 저하)"을 정량적으로 평가하기 위해.

위협 모델: 공격자는 무엇을 가지고 있는가

쓸 수 있는 곳: 도구가 읽어들이는 제삼자의 데이터(이메일, 웹 등).

관측할 수 있는 것: 사용자의 이름이나 에이전트가 사용 중인 도구의 API 정의(설정에 따라 이러한 지식을 공격에 악용할 수 있다고 가정).

접할 수 없는 것: 에이전트의 시스템 프롬프트(System Prompt), LLM의 내부 추론 프로세스, 도구의 구현 코드 자체.

무엇을 측정하고 있으며, 무엇을 측정하지 않는가

측정 가능한 것: 정상 상황에서의 성공률(Benign Utility), 공격 상황에서의 성공률, 표적 공격 성공률(Targeted ASR), 그리고 서비스 거부 형태의 방해(Untargeted ASR).

측정 불가능한 것: 이미지 등을 포함한 멀티모달(Multimodal) 공격, 그리고 컨텍스트를 리셋하지 않고 장기간 대화를 이어가는 시나리오에서의 취약성.

걸린 부분

솔직히 이 논문 단독으로는 체감이 잘 안 됐다. 벤치마크 논문은 직접 써보기 전까지는 모르는 것일지도 모르겠다. 9월에 실제로 돌려볼 예정이므로, 그때 추가 내용을 작성하겠다.

다음에 읽을 것

The Instruction Hierarchy (arXiv 2404.13208, OpenAI)

Discussion