Grabette: 로봇 조작 데이터를 기록하기 위한 개방형 시스템

Grabette Slam

Grabette 녹화본을 LeRobot 데이터셋으로 변환하기

로봇 학습은 공급자(supply) 문제가 있습니다. 우리는 역량 있는 정책 아키텍처(transformer 기반 VLA, 확산 및 흐름 매칭 정책, 심지어 월드 모델까지)와 이를 훈련할 GPU를 가지고 있습니다. 부족한 것은 크고 다양하며 실제 세계의 조작 데이터입니다.

로봇을 원격 조종하여 데이터를 수집하는 것은 비용이 많이 들고 까다롭습니다. 우선, 로봇이 필요합니다. 그리고 원격 조종 방식에 따라, 몇 시간이 걸리고 상당한 하드웨어 및 물류적 어려움을 수반한다면 사용자에게 데이터 수집 과정이 지루할 수 있습니다. 이는 요구되는 광범위한 작업과 환경에 맞춰 확장하기 어렵습니다.

하지만 로봇 데이터를 수집하는 데 로봇이 필요하지 않습니다. 인간의 손, 그리퍼, 카메라, 그리고 손이 수행한 6-DoF(자유도) 궤적을 복구할 방법만 있으면 됩니다. 시연을 포착하면 로봇이 학습할 수 있는 데이터가 생깁니다.

오늘 저희가 공개하는 것이 바로 그것입니다: Grabette, 조작 데이터를 기록하기 위한 개방형 저비용 시스템입니다. 이것을 들고 직접 손으로 작업을 녹화하고, 깨끗하며 로봇 준비가 된(robot-ready) 데이터셋을 얻으세요. 로봇도, 실험실도, 원격 조종 장치도 필요 없습니다.

그리고 더 큰 목표는 이렇습니다: 시연을 기록하는 것이 비디오를 촬영하는 것만큼 쉬워진다면, 누구나 기여할 수 있습니다. 우리는 Grabette가 크고 개방적이며 협업적인 조작 데이터셋의 씨앗이 되기를 바랍니다. 단일 실험실이 혼자서 구축할 수 있는 규모는 아닙니다.

Grabette는 Stanford의 **Universal Manipulation Interface (UMI)**에서 직접 영감을 받았습니다: 야외에서 시연을 기록하고, SLAM으로 카메라 궤적을 복구하며, 이를 통해 시각-운동 정책(visuomotor policies)을 훈련하는 휴대용 그리퍼와 어안 카메라입니다.

UMI는 이 방식이 작동한다는 것을 증명했습니다. Agibot의 MEgo 그리퍼, Genrobot의 DAS 그리퍼, Sunday Robotics 스킬 캡처 장갑과 같은 다른 (비공개 소스) 장치들도 존재합니다. 우리의 목표는 사용하기 너무 쉽고,

Grabette는 현대의 개방형 생태계에 통합되었습니다. 데이터셋을 위한 LeRobot, 공유를 위한 Hugging Face Hub, 그리고 설치할 것이 전혀 없는 브라우저에서 실행하는 처리 파이프라인입니다. Grabette는 누구나 작업대 위에서 구축하고, 현장에서 사용하며, 데이터를 기여할 수 있는 도구입니다.

저희는 몇 달 동안 Grabette를 개발해 왔으며, 이제 공유하기에 충분히 사용 가능하다고 느낍니다. 지금 여러분과 이를 공유하게 되어 매우 기대됩니다!

Grabette는 조작 시연(manipulation demonstration)을 재구성하는 데 필요한 모든 장비가 갖춰진 휴대용 그리퍼입니다.

이 장치는 두 개의 카메라를 탑재하고 있으며, 각 카메라는 고유한 역할을 수행합니다. 두 역할을 분리한 것은 의도적입니다. 저렴한 광각 어안 렌즈(fisheye)는 정책(policy)에 필요한 맥락 풍부한, 손목 카메라 스타일의 시야를 제공하는 반면, RGBD 카메라는 견고한 6-DoF 추적(tracking)이라는 핵심 작업을 수행합니다.

또한 Grabette가 사용자가 수행하는 작업 동안 데이터를 기록할 때도, 학습 후 움직임을 실행하는 것은 로봇 대응 장치에 의존합니다. 따라서 Gripette를 소개합니다. Gripette는 Grabette의 로봇 팔 엔드 이펙터 쌍둥이(twin)입니다.

두 제품군은 동일한 하드웨어 DNA를 공유합니다:

Grabette 휴대용 기록 장치 (왼쪽) 및 Gripette 로봇 그리퍼 (오른쪽)

모든 것이 오픈 소스입니다

구성 요소. 구매할 수 있는 표준 센서들로 구성되어 있으며, 폐쇄적인 파이프라인이나 포크(fork)에 갇히는 일이 없습니다. Raspberry Pi, 표준 Pi 카메라, 기성품 OAK-D 깊이 카메라, 자기 엔코더 등이 사용됩니다. 핵심은 누구나 주문할 수 있는 부품으로 직접 구축할 수 있다는 점입니다.

설계상 로봇 비의존적(Robot-agnostic)입니다. 캡처 방식이나 데이터 형식 중 특정 팔을 가정하는 것은 없습니다. 시연은 카메라 로컬 6-DoF 카테시안 자세에 그리퍼 상태를 더한 형태로 저장되며, 출력물은 Hugging Face Hub의 표준 LeRobot 데이터셋이므로 동일한 데이터를 다양한 로봇과 다양한 학습 방법 구동에 사용할 수 있습니다. 다만, 팔에는 해당되는 Gripette 그리퍼가 필요합니다.

이번 릴리스를 통해 누구나

버튼을 누르면 관찰 카메라, 트래킹 카메라(색상, 깊이 및 IMU), 그리퍼의 엔코더 조인트 값에서 나온 데이터가 단일 공유 클럭을 사용하여 동시에 기록되며, 이를 통해 적절한 동기화가 보장됩니다. 버튼을 다시 누르면 에피소드가 중지되고, 해당 데이터는 Raspberry Pi에 로컬로 저장됩니다.

브라우저에서 Grabette 대시보드를 엽니다. 데이터셋에 추가하려는 에피소드를 선택하고 클릭 한 번으로 후처리(post-processing)가 시작됩니다.

이제 학습을 시작할 준비가 완료되었습니다!

데이터셋은 무언가를 학습시키는 데 유용할 때만 가치가 있습니다. 따라서 루프를 엔드투엔드로 보여주기 위해 완벽한 예제를 제공합니다. 하지만 분명히 하자면, 이것은 제품이 아니라 무엇을 가능하게 하는 하나의 예시입니다: 이번 릴리스는 기록 시스템 자체입니다. 사용자의 Grabette 데이터는 LeRobot 데이터셋을 소비하는 모든 방법과 호환됩니다.

저희 예제는 다음과 같은 200개의 녹화된 시연(demonstrations)을 포함합니다:

그리고:

데이터 병목 현상은 어느 한 연구실이 해결할 수 없으며, 전 세계 곳곳에서 시연을 기록하는 커뮤니티가 해결해야 합니다. 이제 여러분도 데이터셋 구축에 기여할 수 있습니다: Grabette를 제작하고 관심 있는 작업을 녹화한 다음 Hub에 공유하세요. 모든 에피소드는 개방형 데이터셋을 더 크고 다양하게 만들며, 모든 기여자는 로봇 학습이 값비싼 하드웨어 뒤에 가려져 있는 정도를 조금씩 줄입니다.

이번 릴리스는 프로젝트의 시작일 뿐입니다! Grabette는 계속 진화할 것입니다. 저희는 이미 Casquette와 같은 추가 기능을 준비하고 있습니다. Casquette는 개 중심 포착(egocentric capture)을 위해 Grabette를 보완하는 헤드 마운트 POV 장치입니다 (아직 작업 중). 하지만 가장 중요한 다음 단계는 우리만의 것이 아니라 여러분의 것이기도 합니다: 녹화를 시작하여 함께 데이터셋을 구축합시다.

👉 Grabette 제작하기 (GitHub) · 데이터 처리하기 (HF Space) · 데이터셋에 기여하기

Pollen Robotics가 ❤️로 제작했습니다.

@SteveNguyen @glannuzel 릴리스 축하드립니다. 정말 기대되는 프로젝트입니다.

BoM(Bill of Materials, 자재 명세서)을 검토하는 과정에서 작은 문제가 발견되었습니다: 연결된 전자 장치 레포지토리(electronics repo)가 공개적으로 접근할 수 없습니다.

elec_grabette를
공개로 만들어 주실 수 있을까요? 감사합니다!