태스크 불가지론적 (Task-Agnostic) 월드 모델에서의 VLA 강화 학습

요약

본 논문은 월드 모델 내에서 강화 학습(RL)을 통해 Vision-Language-Action (VLA) 모델을 사후 학습시키는 방법을 다루며, 기존 방법론들이 태스크 특정적 데이터에 의존하여 확장성 문제가 있다는 점을 지적합니다. 이를 해결하기 위해, 연구진은 다운스트림 태스크 의존성으로부터 완전히 분리된 새로운 패러다임인 RAW-Dream을 제안했습니다. RAW-Dream은 다양한 태스크 프리 행동으로 사전 학습된 월드 모델과 기성 VLM을 활용하여, 제로샷 상상(Zero-shot imagination) 내에서 어떤 새로운 태스크에도 즉시 적응할 수 있는 Task-agnostic VLA를 구현합니다.

핵심 포인트

• RAW-Dream은 다운스트림 태스크 의존성을 제거하고 월드 모델 학습을 완전히 분리하는 새로운 패러다임을 제시합니다.
• Task-agnostic World Models와 기성 Vision-Language Model (VLM)을 결합하여 제로샷(Zero-shot)으로 새로운 태스크에 즉시 적응할 수 있습니다.
• 월드 모델의 환각 현상을 완화하기 위해 이중 노이즈 검증(Dual-noise verification) 메커니즘을 도입했습니다.
• 제안된 방법은 일반화된 물리적 사전 지식이 비용이 많이 드는 태스크 의존적 데이터를 효과적으로 대체할 수 있음을 입증합니다.