LaLa-World: 자연어 행동으로 잠재된 세계 모델 확장하기

요약

본 논문은 JEPA 스타일의 잠재 세계 모델(LWMs)인 LaLa-World를 소개하며, 비디오 생성 모델의 언어 조건부 인터페이스를 활용하여 다양한 도메인의 데이터에서 학습할 수 있음을 보여줍니다. 이 모델은 숫자형 행동과 시각적 변화 모두를 설명하는 단일 미래 예측기를 구축하고, 이를 언어 모델 위에 통합하여 높은 계획 성능을 달성합니다.

핵심 포인트

• LaLa-World는 JEPA 스타일의 LWM로, 다양한 도메인에서 학습 가능합니다.
• 숫자형 행동과 시각적 변화를 모두 설명하는 단일 미래 예측기를 사용합니다.
• 언어 모델 위에 구축되어 높은 MPC 계획 성능을 보여줍니다.
• 기존 대비 낮은 훈련 비용과 빠른 추론 속도를 자랑합니다.