목표 이전의 기억: 휴머노이드 로코-매니퓰레이션을 위한 사전 기록 메모리의 역할

요약

휴머노이드 로봇의 동적 작업은 비마르코프적 특성을 가지므로 현재 정보만으로는 한계가 있습니다. 본 연구는 목표 행동 전 관찰된 객체 이벤트를 저장하는 WholeBodyMem을 제안합니다. 이는 객체 토큰과 교차 주의를 활용하여 기억 기반 지각 메모리를 구현, 로봇의 성공률을 크게 향상시킵니다.

핵심 포인트

• 휴머노이드 작업은 비마르코프적 특성을 가지므로 사전 기록 메모리가 필수적입니다.
• WholeBodyMem은 목표 행동 전 관찰된 객체 이벤트를 저장하는 지각 메모리입니다.
• SAM3와 액션 전문가를 통해 객체의 외관, 기하학, 시간을 인코딩합니다.
• 새로운 휴머노이드 메모리 벤치마크인 HuMeGo를 제시했습니다.
• 기억 활용을 통해 시뮬레이션 및 실제 로봇 성공률이 크게 개선되었습니다.