고정된 카메라에서 자유로운 카메라로: 보정(Calibration)이 필요 없는 시점 강건한 시각-언어-행동(VLA) 모델
요약
카메라 보정 없이도 다양한 시점에서 동작 가능한 새로운 VLA 모델인 CamVLA를 소개합니다. 카메라 기하학을 예측하여 로봇 동작을 생성함으로써, 별도의 외부 파라미터나 깊이 정보 없이 단일 RGB 이미지로도 안정적인 로봇 제어를 구현합니다.
핵심 포인트
- 카메라 위치 변화에 대응하기 위해 핸드-아이 행렬을 스스로 예측
- 조작 제어와 카메라 기하학을 분리하여 시점 강건성 확보
- 보정(Calibration) 및 깊이(Depth) 정보가 필요 없는 단안 RGB 기반 모델
- 미학습 시점(Unseen viewpoints)에서도 높은 작업 성공률 달성
실제 로봇 배포 환경에서는 훈련 단계의 카메라 설정을 그대로 유지하는 경우가 드물며, 실제 시나리오에 따라 카메라의 위치가 재조정되거나 다시 장착되는 경우가 빈번합니다. 기존의 시점 강건한 시각-언어-행동 (Vision-Language-Action, VLA) 정책은 카메라 외부 파라미터 (extrinsics)가 명시적으로 제공될 때만 이러한 카메라 변화를 허용하며, 이는 특히 시점 강건성이 중요한 상황에서 취약하고 사용하기 어렵게 만듭니다. 우리는 정책이 카메라의 위치를 전달받는 것이 아니라, 스스로 파악해야 한다고 주장합니다. 이를 위해 우리는 조작 제어를 카메라 기하학 (geometry)으로부터 분리하여, (i) 로컬 카메라 프레임으로 표현된 카메라 중심의 말단 장치 (end-effector) 동작과, (ii) 카메라와 로봇 베이스를 연결하는 6-DoF 핸드-아이 행렬 (hand-eye matrix)을 예측하는 새로운 VLA 모델인 CamVLA (Camera-Centric VLA)를 소개합니다. 결정론적 기하학적 변환 (deterministic geometric transformation)은 이 두 가지 예측을 결합하여 로봇 베이스 프레임 동작으로 구성합니다. 이는 자세에 독립적인 카메라 중심 동작 생성(how I should move)과 카메라 관점의 기하학적 접지(where I am looking from)를 분리합니다. 결과적으로 이 정책은 보정(calibration)이 필요 없고, 깊이(depth) 정보가 필요 없으며, 단일 시점(single-view)을 지원하여, 배포 시 시각적 관찰값으로 단 하나의 단안 RGB 이미지와 작업 지시만 있으면 됩니다. 시뮬레이션과 실제 로봇 데이터 모두에서의 평가 결과, CamVLA는 다양한 미학습 시점(unseen viewpoints)에 대해 성공률을 일관되게 향상시킴을 보여주었습니다. 프로젝트 페이지: https://alibaba-damo-academy.github.io/CamVLA/.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기