몇 분 분량의 인간 중심 비디오를 통한 제로샷 (Zero-shot) 로봇 학습: 대량의 시연 데이터 없이도 로봇이 조작 작업을 학습하는 방법

요약

HumanEgo는 대량의 시연 데이터 없이 1인칭 비디오만으로 로봇이 조작 작업을 학습할 수 있는 제로샷 학습 기술을 제안합니다. Project Aria 안경으로 촬영된 비디오에서 SLAM과 손 추적을 통해 동작을 추출하고 Flow Matching으로 학습합니다.

핵심 포인트

• 1인칭 비디오 기반의 제로샷 로봇 조작 학습 가능
• Project Aria 안경을 활용한 데이터 수집
• MPS를 이용한 SLAM 및 손 추적 수행
• Flow Matching 기법을 통한 동작 학습