Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 디코더가 없는 JEPA 잠재 공간에서 순방향, 역방향, 역동학 및 정책 예측을 위해 양방향 트랜스포머로 설계된 LeWAM이라는 세계 행동 모델(World action model)을 제안합니다. LeWAM은 기존의 재구성 기반 WAM보다 정렬 성능이 우수하고 시각적 방해 요소를 무시하는 능력이 뛰어납니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기세계 행동 모델(World action models, WAMs)은 일반적으로 노이즈가 많고 중복된 정보를 담는 재구성 기반 표현으로부터 동작과 미래 관측치를 예측합니다. 이는 다운스트림 예측을 복잡하게 만들 수 있습니다. 우리는 LeWAM을 소개합니다. LeWAM은 디코더가 없는 JEPA 잠재 공간(latent)에서 순방향, 역방향, 역동학 및 정책 예측을 위해 양방향 트랜스포머로 설계되었으며, 네 가지 모드 모두를 통해 엔드투엔드로 학습됩니다. 우리는 다음과 같은 이점을 확인했습니다: 1) 정렬(Alignment): 선형 프로브(linear probes)가 LeWAM의 잠재 공간으로부터 로봇 및 객체 상태를 읽어내는 것이 일반적인 Le World Model(순방향 전용 JEPA 세계 모델)보다 더 좋으며, 또한 잠재 공간이 시각적 방해 요소(visual distractors)를 무시하는 방식은 LeWM과 마찬가지로 하며 재구성 기반 WAM보다 훨씬 뛰어납니다. 2) 동작(Acting): LeWAM의 폐루프 평가 결과는 동일한 인코더로 학습된 일반적인 흐름 매칭 정책(flow-matching policy)과 일치하며, 동시에 세계 모델도 제공합니다. 3) 계획(Planning): WAM을 사용하여 계획할 때 원시 동작(raw actions)을 샘플링하면 MPC가 동역학 모델의 부정확성을 악용하게 됩니다. 대신 정책 헤드(policy head)의 노이즈 공간에서 계획하는 것이 이러한 WAM의 폐루프 성능을 개선합니다.