프레임당 토큰 하나: VLA 정책을 위한 월드 모델의 시각적 대역폭 재고찰

요약

본 기사는 Vision-language-action (VLA) 모델이 장기 계획을 위해 사용하는 월드 모듈의 설계 문제를 다룹니다. 기존 방식은 높은 시각적 대역폭으로 프레임별 스트림을 전달하여 자원 비효율성을 초래했습니다. 이에 저자들은 각 뷰를 '프레임당 단일 의미론적 토큰'으로 압축하는 OneWM-VLA라는 새로운 접근 방식을 제안합니다.

핵심 포인트

• VLA 모델은 장기 계획을 위해 월드 모듈에 크게 의존하고 있으나, 이 모듈의 최적화된 매개변수화는 미해결 과제이다.
• 기존의 월드 모델 증강 VLA는 높은 시각적 대역폭으로 프레임별 스트림을 전달하여 자원 및 표현력 측면에서 비효율적일 수 있다.
• OneWM-VLA는 각 뷰를 '프레임당 단일 의미론적 토큰'으로 압축함으로써, 정보의 과부하 없이 효율적인 월드 모델링을 목표로 한다.