Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 연구는 도구 사용 에이전트의 간접 프롬프트 주입(IPI) 보안 평가에 대한 새로운 관점을 제시합니다. 기존 벤치마크가 실패한 공격을 '성공적인 방어'로 오해하는 경향이 있음을 지적하며, 실제로는 공격이 단순히 '무시'되는 경우가 많다고 분석했습니다. 따라서 에이전트의 안전성과 작업 완료 여부를 함께 평가해야 한다고 제안합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기도구 사용 에이전트는 신뢰할 수 없는 외부 콘텐츠를 읽게 되며, 이는 은닉된 지침이 에이전트의 도구 호출을 가로채는 간접 프롬프트 주입(IPI)에 노출되게 합니다. 벤치마크는 공격 성공률(ASR)로 IPI 보안을 측정하며, 이 과정에서 모든 실패한 공격은 성공적인 방어로 취급됩니다. 이러한 가정을 테스트하기 위해, 우리는 InjecAgent와 AgentDojo를 사용하여 열한 개의 오픈 웨이트 에이전트(2-14B 파라미터)의 33,000개 트랙젝토리(trajectories)를 감사했습니다. 레이블에 맹목적인 LLM 심사관은 대부분 실패한 공격들이 거부된 것이 아니라 무시되었다는 것(76-80%)을 보여주었습니다(거부됨: 17-18%). 동일한 모델 가중치를 사용하고 시스템 프롬프트만 변경했을 때, InjecAgent의 ASR이 0.2%에서 43%로 변동했습니다. 우리의 공격-과제 결과 행렬(ATOM)은 또한 AgentDojo 에피소드의 21.7%에서 에이전트가 안전하게 유지되었지만 사용자의 작업을 완료하지 못했음을 보여줍니다. 따라서 낮은 ASR은 주로 에이전트가 주입을 조용히 무시하는 것을 반영할 뿐, 거부하는 것을 의미하지 않습니다. 평가는 ASR과 함께 공격이 어떻게 실패하고 사용자의 작업이 완료되었는지 여부를 보고해야 합니다. 우리는 레이블링된 코퍼스, 심사관 프롬프트, 분석 코드를 공개합니다.