GUI Grounding을 위한 오패olicy 자기 증류: GUI-SD

요약

본 논문은 자연어 지시사항을 시각적 좌표로 매핑하는 GUI 그라운딩 문제를 해결하기 위해 오패olicy 자기 증류(OPSD) 프레임워크를 제안합니다. 특히, GUI-SD라는 새로운 방법을 통해 목표 경계 박스와 가우시안 소프트 마스크를 활용하여 풍부한 우선 맥락을 생성하고, 엔트로피 기반 증류로 토큰에 적응적으로 가중치를 부여하는 것이 특징입니다. 광범위한 실험 결과, GUI-SD는 기존의 GRPO 기반 방법보다 정확도와 학습 효율성 모두에서 우수한 성능을 입증했습니다.

핵심 포인트

• GUI 그라운딩은 자율 에이전트에게 필수적인 능력으로, 자연어 지시를 시각적 좌표로 변환하는 과정입니다.
• 기존의 강화 학습 방법(예: GRPO)은 높은 성능을 보이지만, 비용이 많이 드는 다중 롤아웃과 희소 신호라는 한계가 있습니다.
• 제안된 GUI-SD는 오패olicy 자기 증류(OPSD)를 활용하여 단일 롤아웃만으로 밀집된 토큰 수준의 감독을 제공함으로써 효율성을 높입니다.
• GUI-SD는 목표 경계 박스와 가우시안 소프트 마스크를 사용하여 정보가 풍부한 우선 맥락을 생성하고, 엔트로피 기반 증류로 최적화에 집중합니다.