당신의 MLLM은 앱 사용을 위한 비디오 튜토리얼을 따라 할 수 있습니까?

원문 발행 2026. 07. 05. 14:21원문 언어 영어AI 한국어 번역X @huggingpapers (검증됨) 원문 보기

요약

비디오 가이드를 따라 GUI를 조작하는 에이전트를 위한 새로운 벤치마크인 VG-GUI-Bench를 소개합니다. TASKER 기술을 통해 키프레임을 효율적으로 탐색하여 장기 작업 및 VideoQA 성능을 개선합니다.

당신의 MLLM (Multimodal Large Language Model)은 앱 사용을 위한 비디오 튜토리얼을 따라 할 수 있습니까?

VG-GUI-Bench는 비디오 가이드 GUI 에이전트 (video-guided GUI agents)를 위한 새로운 ECCV 2026 벤치마크입니다.

TASKER는 그래프 탐색 (graph search)을 사용하여 키프레임 (keyframes)을 찾아내며, 훨씬 더 적은 프레임으로 장기 작업 (long-horizon tasks) 및 VideoQA 성능을 향상시킵니다.

벤치마크 데이터셋과 코드는 완전히 오픈 소스입니다.

AI 자동 생성 콘텐츠