Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 LLM 기반 에이전트의 안전성 문제를 다루며, 기존 방식으로는 간접 프롬프트 주입 공격을 완전히 막기 어렵다고 지적합니다. 이에 따라 SA-CUA라는 이중 LLM 프레임워크를 제안하여, 접근성 트리 기반의 보수적인 규칙과 스크린샷 마스킹을 통해 에이전트의 신뢰 경계를 구축하고 안전성을 높였습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG (Machine Learning)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기현재 LLM 기반 에이전트의 안전성은 정렬 학습(alignment training)과 안전 분류기(safety classifiers)에 의존하고 있으며, 이들 중 어느 것도 정교한 간접 프롬프트 주입(indirect prompt injection, IPI)이 통과하여 심각한 피해를 야기할 가능성을 완전히 배제할 수 없습니다. 따라서 최근 연구들은 환경과 상호작용하기 위해 구조화된 도구 인터페이스에 의존하는 정보 흐름 보장(information-flow guarantees)을 갖춘 에이전트를 구축하고 있습니다. 컴퓨터 사용 에이전트(Computer Use Agents, CUAs)는 컴퓨터 화면에서 시각적으로 작동하는데, 이는 신뢰할 수 있는 퍼스트 파티 인터페이스와 잠재적으로 공격자가 작성한 신뢰할 수 없는 콘텐츠 사이에 경계를 제공하지 않습니다. 행동 역시 모호합니다. 클릭은 애플리케이션 툴바에 착지할 수도 있고 공격자에 의해 제어되는 버튼에 착지할 수도 있습니다. 사용자에게 신뢰의 출처로 간주하고 모든 민감한 결정마다 확인을 요청하면, 위험한 행동을 놓칠 위험이 있는 '확인 피로(confirmation fatigue)'를 초래합니다. 본 논문에서는 SA-CUA라는 이중 LLM 프레임워크를 소개합니다. 이는 접근성 트리(accessibility tree)로부터 보수적인 결정론적 규칙을 도출하여, 특권 LLM의 스크린샷에서 신뢰할 수 있는 영역을 마스킹함으로써 CUA에 대한 신뢰 경계(trust boundary)를 생성합니다. 이를 통해 신뢰할 수 있는 콘텐츠와 신뢰할 수 없는 콘텐츠가 분리됩니다. 인간과의 상호작용은 오직 초기에 적절한 작업 명세화(task specification)를 위해 필요합니다. 작업 수행 중에는 강력한 승인 채널(endorsement channel)이 신뢰할 수 없는 영역에서 신뢰할 수 있는 영역으로 값이 전달될 때, 신뢰 채널을 통해 정보를 검증하여 이를 가능하게 합니다. 이는 에이전트가 신뢰할 수 없는 정보가 포함된 작업을 자율적으로 처리할 수 있게 합니다. SA-CUA는 공격 성공률을 0으로 유지하면서 CaMeL-CUA보다 훨씬 높은 유틸리티를 유지합니다.