Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
DLAM은 시각-언어-행동(VLA) 모델의 데이터 부족 문제를 해결하기 위해 비디오에서 분포적 잠재 행동을 추출하는 새로운 모델입니다. 각 전이를 가우시안 분포로 표현하여 시간적 일관성을 높이고, 재귀적 합성 과정에서의 오차 누적을 방지합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기시각-언어-행동 (Vision-language-action, VLA) 모델은 행동 레이블이 지정된 로봇 데이터의 부족으로 인해 여전히 제약을 받고 있는 반면, 행동 정보가 없는 비디오는 물리적 변화에 대한 풍부한 관찰 정보를 제공합니다. 잠재 행동 (Latent action) 모델은 이러한 사전 지식 (priors)을 추출할 수 있지만, 재구성 (reconstruction)을 통해 학습된 코드들은 로봇 행동과의 공동 생성 (joint generation)에 필요한 구조 없이 미래의 관찰을 예측할 수 있습니다. 기존의 구조화된 방법들은 시간적 제약 (temporal constraints)을 추가하지만 결정론적 전이 지점 (deterministic transition points)을 유지하므로, 국소적으로 추론된 전이에서의 잔차 오차 (residual errors)가 재귀적 합성 (recursive composition) 과정에서 전파되고 누적될 수 있습니다. 우리는 각 전이를 대각 가우시안 (diagonal Gaussian)으로 표현하는 분포적 잠재 행동 모델인 DLAM을 소개합니다. 참조 프레임 (reference frame)에 조건화된 재구성은 평균 (mean)을 관찰된 시각적 변화에 고정시키며, 동일 간격의 트리플렛 (triplets)에 대한 정규화된 합성 (normalized composition) 및 역전 (reversal)은 평균과 차원별 분산 (dimension-wise variance)을 모두 제약합니다. 분산 합성 (Variance composition)은 중간 프레임을 공유하는 인접한 전이 사이의 의존성을 고려하기 위해 경량화된 공유 상관 계수 (shared-correlation coefficient)를 사용하며, 역전 (reversal)은 평균을 부정하고 분산을 보존합니다. 다운스트림 정책 학습 (downstream policy learning)을 위해, 우리는 인코더를 동결하고 평균 전이 시퀀스와 로봇 행동을 공동으로 생성하는 플로우 매칭 (flow-matching) 정책을 학습시킵니다. 테스트 데이터 (held-out) 전이에서 DLAM은 기존의 잠재 행동 베이스라인보다 더 시간적으로 일관된 잠재 역학 (latent dynamics)을 학습하며, 테스트 데이터 비디오에 대해 더 강력한 직접 및 누적 재구성을 달성합니다. 동일한 제어된 $\pi_0$ 전이 프로토콜 하에서, DLAM은 MetaWorld MT50, LIBERO 및 실제 조작 작업 (real-world manipulation tasks)에서의 정책 성능 또한 향상시킵니다. 제어된 절제 연구 (ablations) 결과, 정규화된 평균 제약이 재구성 이득의 대부분을 차지하는 반면, 학습된 분산 및 상관 관계를 인식하는 합성 (correlation-aware composition)은 다운스트림 제어에서 상호 보완적인 개선을 제공함을 보여줍니다.