Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
UniWALM은 언어, 지각, 행동을 단일한 공유 표현 내에서 통합하는 세계-행동-언어 모델입니다. 이 모델은 비디오, 행동, 언어를 하나의 혼합 변환기 백본에 통합하여 별도의 계획 단계 없이 메모리 의존적 행동과 서브태스크를 처리합니다. 특히 '언어를 통한 기억 루프'를 완성하며, 실제 작업에서 높은 성능 향상을 보여줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기인간이 언어, 지각, 행동 전반에 걸쳐 경험을 통합하는 능력에서 영감을 받아, 우리는 UniWALM이라는 통합된 세계-행동-언어 모델을 소개합니다. 이 모델은 비디오, 행동, 그리고 언어를 단일한 공유 표현(shared representation) 내에서 학습하며, 각 양식(modality)이 조건화 신호(conditioning signal)이자 지도 목표(supervision target) 역할을 합니다. 우리는 질문합니다: 언어를 공동으로 생성하는 것이 이 공유 표현을 풍부하게 만들고, 조작(manipulation)을 개선하며, 메모리 의존적 행동(memory-dependent behavior)을 지원할 수 있을까요? 이전 접근 방식들이 추론 또는 비전-언어 모델을 비디오-행동 백본(video-action backbone)에 부착하고 이를 별개의 단계로 실행했던 것과 달리, UniWALM은 세 가지 양식 모두를 단일한 혼합 변환기(mixture-of-transformers) 백본 내에서 통합합니다. 이 백본의 각 양식별 확산 헤드(per-modality diffusion heads)는 동기적으로 공동 디노이징(co-denoise)하며, 별도의 계획 단계 없이 행동과 함께 서브태스크 및 텍스트 메모리를 같은 패스에서 디코딩합니다. 생성된 언어는 다음 단계에서 재사용되어 외부 플래너나 메모리 뱅크 없이 '언어를 통한 기억 루프(language-as-memory loop)'를 완성합니다. 이 풍부한 목표 하에서도 행동 스트림의 신뢰성을 유지하기 위해, 우리는 추가적으로 Flow Matching with Correction (FMC)을 도입합니다. 이는 추론 시간 비용 없이 교란된 행동 궤적으로부터 복구하는 방법을 학습시키는 훈련 목표(training objective)입니다. UniWALM은 구성적인 피킹-앤-플레이스(compositional pick-and-place, MolmoSpaces)와 메모리 의존적 RMBench의 모든 부분에서 동일한 백본을 사용한 기존 모델들(예: FastWAM)보다 일관되게 성능이 향상됩니다. 특히 언어 또는 추론 사전 학습 모델 없이도 34.5%에 도달하며, 단일 앵커 프레임만을 사용하여 Mem-0의 키프레임 장착 설정(28.5%)을 능가합니다. 실제 세계에서의 '아이템 찾기(Find-the-Item)' 작업에서, 텍스트 메모리를 생성하는 것은 성공률을 11.1%에서 61.1%로 끌어올리는 반면, 최첨단 VLA(Vision-Language Agents)들은 우연 수준(<=33.3%)에 머무릅니다.