검색 기반 안내를 통한 Zero-Shot VLA 적응

원문 발행 2026. 11. 08. 03:35원문 언어 영어AI 한국어 번역arXiv cs.LG (Machine Learning) 원문 보기

요약

대규모 VLA 모델은 도메인 변화에 취약하다는 한계가 있습니다. 이를 극복하기 위해 검색 기반 안내(Retrieval) 방식을 도입한 'RAGu'를 제안했습니다. RAGu는 소스 시연을 목표 설정으로 변환하고 Coarse-to-fine 검색 전략을 통해 VLA의 행동 궤적을 효과적으로 안내하며, 실세계 성공률을 크게 향상시켰습니다.

핵심 포인트

VLA 모델의 도메인 불일치성 문제를 해결하는 새로운 접근법 제시
RAGu는 검색 기반으로 VLA의 행동 궤적을 안내하여 성능 개선
기하학적 보정 및 Coarse-to-fine 전략이 핵심 기술로 통합됨
실세계 VLA 성공률을 20%에서 80%까지 향상시키는 성과 입증

대규모 파라미터 '비전-언어-행동(VLA)' 모델을 대규모 시연 데이터셋으로 사전 학습시키는 것은 일반 목적의 조작(manipulation)에 대해 최근 유망한 결과를 보여주었습니다. 하지만 이러한 모델들은 카메라 시점, 배경, 객체 식별자 또는 로봇 형태와 같은 훈련 데이터 대비 사소한 도메인 변화에도 여전히 어려움을 겪습니다.

언어 모델에서 Retrieval-Augmented Generation (RAG)의 성공에 동기 부여를 받아, 우리는 VLA 성능을 향상시키기 위해 검색(retrieval) 방식을 추구합니다. 구체적으로, 우리는 DROID와 같이 도메인 불일치성이 있는 '실제 환경(in-the-wild)' 시연 데이터셋으로부터 정보를 검색하여 새로운 목표 도메인에서 VLA의 행동을 안내하는 방법을 모색합니다.

이를 달성하기 위해, 우리는 RAGu를 도입했으며, 이는 RAG에 대한 로봇 공학 특유의 과제들을 극복합니다. 첫째, 소스 시연(source demonstrations)을 목표 설정으로 변환하고 교차 도메인 차이(cross-domain differences)를 줄이기 위해 간단한 기하학적 보정(geometric calibration)을 통합합니다. 둘째, 대규모 전개된 후보군(pre-warped candidates) 중에서 기본 VLA와 가장 호환성이 높은 궤적(trajectory)을 선택하는 Coarse-to-fine 검색 전략을 사용합니다. 셋째, 기본 모델을 재훈련하거나 제한적인 컨텍스트 창을 확장하려 하기보다는, VLA의 흐름 일치 추론 절차(flow-matching inference procedure)를 안내합니다.

우리는 RAGu를 실제 세계, 시뮬레이션, sim-to-real 전이, 그리고 크로스 임바디먼트 휴머노이드 조작에 걸쳐 평가했습니다. 그 결과, 실세계 VLA의 성공률을 20%에서 80%까지 향상시켰으며, 시뮬레이션 환경에서 가장 근접한 기준 모델(baselines)보다 우수한 성능을 보였습니다.

프로젝트 웹사이트: raguvla.github.io

AI 자동 생성 콘텐츠

원문 바로가기

검색 기반 안내를 통한 Zero-Shot VLA 적응

요약

핵심 포인트

댓글