Video2GUI: 일반화된 GUI Agent 사전 학습을 위한 대규모 상호작용 궤적 합성

요약

본 논문은 일반화된 GUI Agent 학습에 필요한 대규모 상호작용 궤적 데이터 부족 문제를 해결하기 위해, 레이블링되지 않은 인터넷 비디오에서 근거 기반(Grounded) GUI 상호작용 궤적을 자동으로 추출하는 Video2GUI 프레임워크를 제안합니다. 이 프레임워크를 활용하여 1,500개 이상의 애플리케이션과 웹사이트를 포괄하는 대규모 데이터셋 WildGUI를 구축했습니다. WildGUI로 Qwen2.5-VL 및 Mimo-VL 같은 모델을 사전 학습시킨 결과, 여러 GUI 관련 벤치마크에서 최첨단 성능에 근접하거나 능가하는 성능 향상을 입증했습니다.

핵심 포인트

• 일반화된 GUI Agent의 개발은 대규모 상호작용 데이터셋이 필수적이나, 기존 데이터는 수동 어노테이션과 좁은 도메인에 한계가 있었다.
• Video2GUI는 레이블링되지 않은 인터넷 비디오에서 근거 기반(Grounded) GUI 상호작용 궤적을 자동으로 추출하는 완전 자동화된 프레임워크이다.
• 이 파이프라인으로 구축된 WildGUI 데이터셋은 1,500개 이상의 애플리케이션과 웹사이트를 포함하는 대규모 상호작용 궤적(1,200만 개)을 제공한다.
• WildGUI로 사전 학습한 모델들은 여러 GUI grounding 및 액션 벤치마크에서 기존 대비 5-20%의 성능 향상을 보였다.