CT-VAM: 효율적인 시각-운동 제어를 위한 소뇌-시상 영감을 받은 시각-행동 모델

시각-언어-행동 모델 (Vision-language-action models)은 로봇 조작 (robot manipulation) 분야에서 강력한 가능성을 보여주었으나, 가공되지 않은 언어는 고주파 저수준 실행 (high-frequency low-level execution) 동안 반복적으로 처리되기보다는 주로 작업 의도 (task intent)를 지정하는 데 필요합니다. 이러한 분리에 착안하여, 우리는 효율적인 작업 조건부 시각-운동 제어 (task-conditioned visuomotor control)를 위한 소뇌-시상 영감을 받은 시각-행동 모델 (cerebello-thalamic-inspired vision-action model, CT-VAM)을 제안합니다. CT-VAM은 이중 뷰 시각 관측 (dual-view visual observations), 고유 수용 감각 (proprioception), 그리고 경량화된 작업 조건 (lightweight task condition)으로부터 액션 청크 (action chunks)를 예측하는 컴팩트한 로컬 실행 정책 (local execution policy) 역할을 하며, 이는 고수준의 의미론적 추론 (high-level semantic reasoning)은 대형 모델이 처리하고 빠른 폐루프 제어 (fast closed-loop control)는 로컬 하드웨어에서 실행되는 실용적인 클라우드-엣지 패러다임 (cloud-edge paradigm)을 가능하게 할 잠재력을 가집니다. 이질적인 입력들을 효과적으로 융합하기 위해, CT-VAM은 TARS (Thalamic Action Routing Stream)를 도입합니다. TARS는 스트림 분리형 조건부 어텐션 디코더 (stream-separated conditional attention decoder)로, 액션, 시각, 작업 스트림을 독립적으로 라우팅하여 밀집된 감각 토큰 (dense sensory tokens)이 컴팩트한 작업 관련 조건 (task-relevant conditions)을 압도하는 것을 방지합니다. 단 68M 개의 파라미터만으로, CT-VAM은 추론 지연 시간 (inference latency)을 줄이면서도 훨씬 더 큰 VLA 모델들과 경쟁할 만한 LIBERO 성공률을 달성합니다. 비동기적 청크 실행 (asynchronous chunk execution)을 위한 흐름 일관적 인페인팅 (flow-consistent inpainting)과 결합하여, CT-VAM은 고주파 제어를 지원하며 자원이 제한된 로봇 플랫폼에서의 견고한 실세계 배포 (real-world deployment)를 입증합니다.