T2-z: 로봇 세계 모델을 위한 테스트 시간 환경 잠재 변수 최적화

세상이 행동에 어떻게 반응할지 예측하려면 보이는 것 이상이 필요합니다. 로봇은 마찰이나 질량 같은 물리적 속성부터 인간이 정의한 환경 규칙까지, 직접 관측되거나 명시적으로 지정되지 않은 환경 요인들을 고려해야 합니다. 우리는 환경 잠재 변수(environment latent)의 테스트 시간 최적화(test-time optimization)를 통해 로봇 세계 모델을 증강하는 T2-Z를 소개합니다. 이는 학습 가능한 환경 잠재 변수를 사용하여 세계 예측에 조건을 부여합니다. 이 간결한 잠재 변수는 어떤 환경 요인이 존재하는지 또는 그 값이 무엇인지에 대한 감독 없이 근본적인 환경 변화(environmental variation)를 포착합니다. 훈련 중, T2-Z는 두 단계 사이에서 번갈아 수행됩니다: 첫 번째는 잠재 변수를 고정하고 여러 환경에 걸쳐 일반적인 행동 조건부 동역학(action-conditioned dynamics)을 학습하는 세계 모델 최적화 단계이고, 두 번째는 세계 모델을 고정하고 조건화 잠재 변수(conditioning latents)를 최적화하여 순전히 세계 예측을 통해 잠재 구조가 나타나도록 하는 환경 잠재 변수 최적화 단계입니다. 테스트 시간에는 세계 모델이 고정된 상태로 남아 있고, 새로 초기화된 환경 잠재 변수가 하나 이상의 테스트 시간 상호 작용(test-time interactions)으로부터 최적화되어 모델을 이전에 보지 못한 환경 구성에 적응시킵니다. 7가지 시뮬레이션 설정과 4가지 실제 로봇 작업 전반에 걸쳐, T2-Z는 객체 예측 오차 지표를 15.20에서 7.00으로 줄이고 행동 성공률을 33.73%에서 72.96%로 높입니다. 이 모델이 추출한 잠재 변수들은 다양한 시각적 장면 전반에 걸쳐 개별적 및 복합적인 요인들의 구조화된 표현을 포착합니다. 추가적인 제거 실험(Ablations)은 T2-Z가 단 하나의 테스트 시간 상호 작용 궤적만으로도 환경 잠재 변수를 효율적으로 추론할 수 있음을 보여줍니다.