BAMI: Training-Free Bias Mitigation in GUI Grounding

요약

본 논문은 GUI 에이전트의 핵심 기능인 GUI grounding의 성능 향상을 목표로 합니다. 기존 모델들이 고해상도 이미지와 복잡한 인터페이스 요소에서 발생하는 편향 문제(정밀 및 혼란 편향)를 겪는 문제를 해결하기 위해, 'Bias-Aware Manipulation Inference (BAMI)'라는 방법을 제안합니다. BAMI는 coarse-to-fine focus와 candidate selection이라는 두 가지 핵심 조작을 통해 훈련 없이 다양한 GUI grounding 모델의 정확도를 크게 향상시키며, 실제 벤치마크에서 유의미한 성능 개선을 입증했습니다.

핵심 포인트

• GUI grounding은 클릭/드래그 같은 작업을 수행하는 에이전트 구현에 필수적이지만, 복잡한 시나리오에서 편향 문제가 발생한다.
• 문제는 고해상도 이미지(정밀 편향)와 복잡한 인터페이스 요소(혼란 편향)로 인해 발생하며, 이를 해결하기 위해 BAMI가 제안되었다.
• BAMI는 'coarse-to-fine focus' 및 'candidate selection'이라는 두 가지 핵심 조작을 포함하여 훈련 없이도 성능 향상을 달성한다.
• 실험 결과, BAMI를 적용했을 때 기존 모델의 정확도가 크게 개선되었으며(예: 51.9% $ ightarrow$ 57.8%), 다양한 환경에서 안정적임을 입증했다.