MaskClaw: 행동 기반 기술 진화를 통한 GUI 에이전트를 위한 엣지 측 개인정보 맞춤형 중재

GUI 에이전트(GUI agents)는 의도를 추론하고 애플리케이션 전반에서 작동하기 위해 스크린샷에 의존하지만, 이러한 스크린샷에는 종종 개인적인 메시지, 의료 기록, 결제 자격 증명 및 직장 특유의 워크플로우(workflows)가 포함되어 있습니다. 이러한 환경에서의 개인정보 보호 결정은 작업(task), 수신자, 애플리케이션 상태 및 사용자 역할에 따라 달라지지만, 정적인 PII(개인 식별 정보) 탐지기는 이러한 경계를 놓치며, 클라우드 측 VLM(시각 언어 모델) 추론은 무엇을 보호해야 할지 결정하기 전에 원본 스크린샷을 업로드할 수 있습니다. 우리는 GUI 에이전트를 위한 엣지 측(edge-side) 개인정보 중재자인 MaskClaw를 제안합니다. MaskClaw는 로컬 시각적 증거를 추출하고, 사용자 및 작업별 정책 메모리를 검색하며, 원본 스크린샷이 신뢰할 수 있는 사용자 또는 조직 제어 환경을 떠나기 전에 허용(Allow), 마스킹(Mask), 또는 요청(Ask) 여부를 결정합니다. 다섯 가지 설계된 기술 진화(skill-evolution) 시나리오에서, MaskClaw는 수정, 취소 및 편집을 샌드박스 게이트(sandbox gate)에 의해 검증되는 재사용 가능한 개인정보 기술로 전환합니다. 우리는 실제 UI 패턴, 재구성된 HTML 화면 및 정제된 레이블로 구축된 벤치마크인 P-GUI-Evo를 소개합니다. 실험 결과에 따르면 패턴 매칭, 클라우드 추론 및 라우팅만으로는 동일한 프로토콜 하에서 과도하게 확인하거나, 과도하게 마스킹하거나, 원본 스크린샷을 노출하는 경향이 있음을 보여줍니다. 관련 결과물은 https://github.com/Theodora-Y/MaskClaw 에서 확인할 수 있습니다.