유능하지만 부주의한: 컴퓨터 사용 에이전트(Computer-Use Agents)는 맥락적 무결성(Contextual Integrity)을

컴퓨터 사용 에이전트(Computer-use agents, CUAs)는 이제 이메일, 캘린더, 할 일 목록과 같은 개인용 애플리케이션 전반에서 사용자를 대신하여 동작합니다. 이러한 교차 애플리케이션 접근은 유용하지만, 그동안 대체로 간과되어 온 개인정보 보호 위험을 초래하기도 합니다. 즉, 에이전트가 하나의 맥락(context)에서 작업할 때, 해당 맥락에 부적절한 다른 맥락의 정보를 가져올 수 있다는 점입니다. 이에 따라, 우리는 이러한 위험을 실행 가능하고 결정론적으로 점수가 매겨지는 시나리오로 전환하는 평가 하네스(evaluation harness)인 AgentCIBench를 소개합니다. 우리는 CUAs의 세 가지 일반적인 실패 모드를 목표로 합니다: UI 상에서 작업 대상 옆에 위치한 금지된 항목을 가져오는 시각적 인접성(visual co-location), 불충분하게 지정된 프롬프트에 대응하여 에이전트가 밀집된 개인 상태 정보를 쏟아내는 작업 모호성 과잉 공유(task-ambiguity overshare), 그리고 에이전트가 부적절한 수신자에게 콘텐츠를 보내는 수신자 불일치(recipient misalignment)입니다. 우리는 15개의 프런티어 에이전트(frontier agents)를 평가하였으며, 놀라울 정도로 높은 실패율을 발견했습니다: 15개 중 11개가 시나리오의 50% 이상에서 정보를 유출하며, 평균 유출률은 67.9%에 달했습니다. 또한 에이전트가 작업을 완료하기 위해 환경 내에서 엔드 투 엔드(end-to-end)로 동작할 때도 동일한 실패가 지속되었습니다. 우리는 더 안전한 컴퓨터 사용 에이전트의 개발을 장려하고, 맥락적 공개 테스트(contextual disclosure testing)를 배포 전 안전 점검 항목으로 자리매김하기 위해 AgentCIBench를 공개합니다.