하이브리드 체화된 작업에서의 장기적 진화를 위한 World-Ego 모델링

요약

본 논문은 체화된 지능(Embodied intelligence)에서 세계(World)와 에고(Ego)의 역학이 얽혀 발생하는 성능 저하 문제를 해결하기 위해 World-Ego Modeling(WEM) 패러다임을 제안합니다. WEM은 세계와 에고를 분리하여 예측하는 플래너와 계층적 병렬 전문가 혼합(CP-MoE) 확산 생성기를 결합한 모델입니다. 또한, 내비게이션과 조작이 결합된 하이브리드 작업을 평가하기 위한 최초의 벤치마크인 HTEWorld를 구축하여 최첨단 성능을 입증했습니다.

핵심 포인트

• 세계(지시 사항과 무관한 장면 규칙성)와 에고(로봇 중심의 역학)를 분리하여 예측하는 새로운 패러다임 제안
• World-Ego Model(WEM)은 분리된 플래너와 CP-MoE 기반의 확산 생성기를 통합한 구조를 가짐
• 내비게이션과 조작 동작이 교차되는 하이브리드 작업을 위한 HTEWorld 벤치마크 구축
• WEM은 기존 조작 전용 벤치마크에서도 경쟁력을 유지하며 HTEWorld에서 SOTA 성능 달성