NYU 연구팀이 스마트글라스로 인간 손잡이 영상만 28시간 모아서 100만 개 데이터셋을 만들고, flow matching으로 로봇 손에 인간

NYU 연구팀이 스마트글라스로 인간 손잡이 영상만 28시간 모아서 100만 개 데이터셋을 만들고, flow matching으로 로봇 손에 인간 같은 그리핑을 제로샷으로 성공시켰다.

이게 단순한 기술 데모가 아니다. 로봇 학습의 근본 패러다임을 뒤흔드는 게임체인저다.

로봇 회사들이 수년 동안 시뮬레이션 속에서 수억 번 실패하며 물리를 근사하려 했던 접근이, 인간의 자연스러운 일상 손동작 데이터 하나로 완전히 압도당했다.

인간 손은 이미 최고의 Physics AI 센서이자 교사였다.

이제 로봇은 시뮬레이션의 한계를 벗어나 인간이 실제로 잡는 방식을 그대로 배운다.

테이블탑에서 66.7% 성공률. 기존 방법들보다 20~30% 이상 앞선다. 실제 집안 환경에서도 62%를 기록했다.

더 충격적인 건 이 기술이 다른 로봇 손에도 바로 제로샷으로 적용된다는 점이다.

Optimus급 휴머노이드들이 이 방식을 본격 도입하면, 가정용 로봇이 진짜 집안일을 시작하는 시점이 최소 1~2년은 앞당겨질 가능성이 매우 높다.

데이터 수집 비용과 시간의 가장 큰 병목이었던 ‘로봇으로 직접 가르치기’가 사라지기 때문이다.

로봇 회사들의 전략이 ‘더 많은 실패 데이터’에서 ‘더 많은 인간 일상 데이터’로 급선회할 수밖에 없다.

시뮬레이션 만능 시대는 여기서 끝났다.

Physics AI의 진짜 입구는 코드나 시뮬이 아니라, 인간의 몸짓이었다.

이 한 가지 변화가 로봇 산업 전체의 속도를 바꿔놓을 수 있다.

이제 싸움은 누가 이 기술을 가장 빨리 실제 로봇에 녹여내느냐로 넘어갔다.