AI Agent를 위해 접근성 시맨틱 (Accessibility Semantics) 기반의 운영체제 상호작용 계층을 제공하여, 에이전트가

요약

본 기술은 AI Agent가 스크린샷 픽셀 추측 대신 시스템의 접근성 트리(Accessibility Tree)를 활용하여 운영체제와 상호작용할 수 있는 계층을 제공합니다. 이를 통해 에이전트는 버튼의 역할, 상태 및 정확한 계층 구조 정보를 얻어 더욱 신뢰성 높은 작업을 수행할 수 있습니다.

핵심 포인트

• AI Agent가 시스템 접근성을 활용하여 운영체제와 상호작용하는 새로운 방식을 제시합니다.
• 스크린샷 픽셀 추측에 의존하지 않고, 접근성 트리(Accessibility Tree)를 통해 UI 요소를 파악합니다.
• 접근성 트리는 버튼의 역할, 상태 및 계층 구조 등 의미론적 정보를 제공하여 에이전트의 판단 정확도를 높입니다.
• 작업 우선순위를 '접근성 시맨틱'을 최우선으로 설정하는 3단계 접근 방식을 제안합니다.