GUI 에이전트: 사용자 민감 스크린에 대한 가이드 탐색

요약

LLM 기반 GUI 에이전트가 사용자의 민감한 정보가 포함된 화면을 마주했을 때, 안전하게 사용자에게 권한을 이양할 수 있도록 돕는 연구입니다. 사용자 민감 상태를 식별하고 분류하는 데이터셋과 이를 탐색하는 에이전트 개발을 다룹니다.

핵심 포인트

• GUI 에이전트의 민감 정보 노출 및 안전성 문제 제기
• 사용자 민감 상태(user-sensitive states) 식별 및 분류의 중요성
• 중요 시나리오에서 사용자 권한 이양(handover)을 위한 데이터셋 제안
• 민감 쿼리를 체계적으로 탐색하는 탐색 에이전트(explorer agent) 개발