LeRobot v0.4.0: Supercharging OSS Robot Learning

LeRobot v0.4.0 는 오픈소스 로봇 학습을 위한 주요 업그레이드를 제공하며, 확장 가능한 Datasets v3.0 과 PI0.5 및 GR00T N1.5 같은 강력한 새로운 VLA 모델, 그리고 더 쉬운 하드웨어 통합을 위한 새로운 플러그인 시스템을 소개합니다. 또한 LIBERO 와 Meta-World 시뮬레이션 지원, 단순화된 다중 GPU 학습, 그리고 새로운 Hugging Face Robot Learning Course 를 추가했습니다.

• LeRobot v0.4.0: Supercharging OSS Robot Learning
• TL;DR
• Table-of-Contents
• Datasets: Ready for the Next Wave of Large-Scale Robot Learning
• Simulation Environments: Expanding Your Training Grounds
• Codebase: Powerful Tools For Everyone
• Policies: Unleashing Open-World Generalization
• Robots: A New Era of Hardware Integration with the Plugin System
• The Hugging Face Robot Learning Course
• Final thoughts from the team

우리는 LeRobotDataset v3.0 을 완전히 재설계하여 새로운 chunked episode 형식과 스트리밍 기능을 제공했습니다. 이는 OXE (Open X Embodiment) 와 Droid 같은 거대 데이터셋을 처리하는 데 있어 놀라운 효율성과 확장성을 가져옵니다.

• Chunked Episodes for Massive Scale: 우리는 OXE 수준 (> 400GB) 의 데이터셋을 지원하며, 전례 없는 확장성을 가능하게 합니다.
• Efficient Video Storage + Streaming: 더 빠른 로딩 시간과 비디오 데이터의 원활한 스트리밍을 즐기세요.
• Unified Parquet Metadata: 흩어진 JSON 에 작별을 고하세요! 모든 에피소드 메타데이터는 이제 관리 및 접근이 더 쉬운 통합 구조화된 Parquet 파일에 저장됩니다.
• Faster Loading & Better Performance: 데이터셋 초기화 시간을 크게 줄이고 더 효율적인 메모리 사용량을 경험하세요.

우리는 또한 기존 v2.1 데이터셋을 새로운 v3.0 형식으로 쉽게 마이그레이션할 수 있도록 변환 스크립트를 제공했습니다. 이전 블로그 포스트에서 자세히 읽으세요. 오픈소스 로봇 학습은 계속 발전하고 있습니다!

LeRobot 데이터셋과 함께 작업하는 것이 훨씬 쉬워졌습니다! 우리는 유연한 데이터셋 편집을 위한 강력한 유틸리티 세트를 소개했습니다.

새로운 lerobot-edit-dataset CLI 를 통해 이제:

• 기존 데이터셋에서 특정 에피소드를 삭제할 수 있습니다.
• 분수나 에피소드 인덱스로 데이터셋을 분리할 수 있습니다.
• 기능을 쉽게 추가하거나 제거할 수 있습니다.
• 여러 데이터셋을 하나의 통합된 데이터셋으로 병합할 수 있습니다.

lerobot-edit-dataset \
--repo_id lerobot/pusht_merged \
...

이 도구들은 워크플로우를 간소화하여 이전에 없던대로 로봇 데이터셋을 큐레이션하고 최적화할 수 있게 합니다. 자세한 내용은 문서를 확인하세요!

우리는 LeRobot 의 시뮬레이션 기능을 계속 확장하여 로봇 정책들을 위한 더 풍부하고 다양한 훈련 환경을 제공합니다.

LeRobot 은 이제 VLA 정책 중 하나인 Vision-Language-Action (VLA) 정책의 가장 큰 오픈 벤치마크 중 하나인 LIBERO 를 공식적으로 지원하며, 130 개 이상의 작업을 자랑합니다. 이는 VLA 의 평가 허브를 구축하는 데 있어 중요한 단계이며, 모든 VLA 정책을 평가하기 위한 쉬운 통합과 통합 설정을 가능하게 합니다.

LIBERO 데이터셋과 문서를 확인하여 시작하세요!

우리는 로봇 조작의 다중 작업 및 일반화 능력을 테스트하기 위한 최고의 벤치마크인 Meta-World 를 통합했습니다. 이는 50 개 이상의 다양한 조작 작업을 특징으로 합니다. 이 통합은 표준화된 gymnasium ≥ 1.0.0 와 mujoco ≥ 3.0.0 사용과 함께, 결정론적 시딩과 견고한 시뮬레이션 기반을 보장합니다.

오늘 Meta-World 데이터셋으로 정책을 훈련하세요!

로봇 제어의 유연성과 접근성을 높이고, 데이터 수집 및 모델 훈련을 위한 새로운 가능성을 열어갑니다.

로봇에서 데이터를 모델 (그리고 다시!) 로 가져오는 것은 까다롭습니다. 원시 센서 데이터, 관절 위치, 언어 지시는 AI 모델이 기대하는 것과 맞지 않습니다. 모델은 정규화된 배치 텐서를 올바른 장치에 필요로 하지만, 로봇 하드웨어는 특정 액션 명령을 필요로 합니다.

우리는 Processors를 소개합니다: 데이터를 위한 범용 번역기로 작용하는 새로운 모듈형 파이프라인입니다. 각 ProcessorStep
이 하나의 구체적인 작업을 처리한다고 생각해보세요—정규화, 텍스트 토큰화, 또는 GPU 로 데이터 이동을 처리합니다.

이러한 단계를 연결하여 강력한 파이프라인을 만들어 데이터를 완벽하게 관리할 수 있습니다. 우리는 삶을 더 쉽게 만들기 위해 두 가지 다른 종류를 만들었습니다:

PolicyProcessorPipeline
: 모델용입니다. 고성능 훈련 및 추론을 위한 배치 텐서를 전문적으로 처리합니다.
RobotProcessorPipeline
: 하드웨어용입니다. 실시간 로봇 제어를 위한 개별 데이터 포인트 (예: 단일 관측 또는 액션) 를 처리합니다.

# 환경 상태 가져오기
obs = robot.get_observation()
# 이름 변경, 배치, 정규화, 토큰화, 장치 이동 ...
...

이 시스템은 정책을 로봇과 연결하는 것을 간단하게 만들어, 모든 단계에 걸쳐 데이터가 항상 완벽한 형식으로 있도록 보장합니다. Processors에 대한 자세한 내용은 소개 문서에서 확인하세요.

대규모 로봇 정책 훈련이 훨씬 빨라졌습니다! 우리는 훈련 파이프라인에 Accelerate를 직접 통합하여 여러 GPU 를 사용하여 실험을 확장하는 것을 매우 간단하게 만들었습니다: 한 명령어만으로도:

accelerate launch \
--multi_gpu \
--num_processes=$NUM_GPUs \
...

정책 미세 조정이나 대규모 실험이든, LeRobot 은 이제 분산 훈련의 모든 복잡성을 처리해 줍니다. 이는 훈련 시간을 크게 줄여줍니다—2 GPU 로 절반으로, 3 GPU 로 한-third로, 그 이상으로.

로봇 학습을 가속화하기 위해 문서를 확인하세요!

오픈소스 로봇 공학의 중요한 이정표에서, 우리는 pi0과 pi0.5 정책을 Physical Intelligence 에 LeRobot 으로 통합했습니다! 이 Vision-Language-Action (VLA) 모델은 로봇 공학의 오픈 월드 일반화를 해결하는 데 큰 도약입니다. 하지만 π₀.₅ 가 혁신적인 이유는 무엇인가요?

• 오픈 월드 일반화: 물리적, 의미적, 환경적 수준을 가로지르며 새로운 환경과 상황에 적응하도록 설계되었습니다.
• 이질 데이터 코 훈련: 다양한 멀티모달 웹 데이터, 언어 지시, 하위 작업 명령, 다중 환경 로봇 데이터를 학습합니다.
• Physical Intelligence 협력: Physical Intelligence 팀의 획기적인 작업에 큰 감사를 표합니다!

모델은 Hugging Face Hub 에서 찾을 수 있습니다: pi0.5_base, pi0_base, 그리고 Libero-tuned 대응물입니다. 자세한 내용은 Physical Intelligence Reasearch 를 확인하세요.

또한 흥미로운 발전으로, 우리는 NVIDIA 로봇 공학 팀과 훌륭한 협업을 통해 NVIDIA 의 GR00T N1.5를 LeRobot 으로 통합했습니다! 이 오픈 파운데이션 모델은 일반화된 로봇 추론 및 기술의 파워하우스입니다. 크로스 임보디먼트 모델로서, 언어와 이미지와 같은 멀티모달 입력을 받아 다양한 환경에서 복잡한 조작 작업을 수행하여 일반화된 로봇 공학의 또 다른 큰 도약을 표시합니다. 하지만 GR00T N1.5 가 게임 체인저가 되는 이유는 무엇인가요?

• Generalized Reasoning & Skills: GR00T N1.5 는 크로스 임보디먼트 (cross-embodiment) 기반 모델로 설계되어 일반화된 추론 및 조작 작업을 뛰어넘는 성능을 보이며, 언어 따르기 능력도 개선되었습니다.

• Expansive Heterogeneous Training: NVIDIA Isaac GR00T Blueprint 으로 생성된 합성 데이터, 실제 캡처 humanoid 데이터, 인터넷 규모의 비디오 데이터를 결합한 대규모 데이터셋에서 학습합니다.

• NVIDIA Collaboration: 이 최첨단 모델을 오픈소스 LeRobot 커뮤니티에 소개하기 위해 NVIDIA 팀과 함께很高兴합니다!

GR00T-N1.5-3B 모델은 Hugging Face Hub 에서 찾을 수 있습니다. 자세한 내용은 NVIDIA 연구 페이지와 공식 GitHub 저장소를 확인하세요.

이 정책의 lerobot 내장 통합은 로봇 학습을 최대한 개방적이고 재현 가능하게 만드는 데 큰 한 걸음입니다. 오늘 바로 시도해 보시고, 실행 결과를 공유하고, 임보디먼트 AI 의 경계를 함께 밀어붙여보세요!

하드웨어 애호가들을 위한 큰 소식! LeRobot 과 제 3 자 하드웨어를 통합하는 방식을 혁신할 새로운 플러그인 시스템을 출시했습니다. 이제 모든 로봇, 카메라, 또는 텔레오퍼레이터를 연결하는 것은 pip install 한 번으로 간단해졌고, 코어 라이브러리를 수정할 필요가 없습니다.

• Extensibility: 별도의 Python 패키지에서 커스텀 하드웨어를 개발하고 통합합니다.
• Scalability: 코어 라이브러리를 부풀리지 않으면서 성장하는 장치 생태계를 지원합니다.
• Community-Friendly: 커뮤니티 기여의 진입 장벽을 낮추고 더 협력적인 환경을 조성합니다.

플러그인을 만드는 방법을 문서에서 배우세요.

pip install lerobot_teleoperator_my_awesome_teleop
lerobot-teleoperate --teleop.type=my_awesome_teleop

새로운 플러그인 시스템 덕분에 Pollen Robotics 의 Reachy 2 를 LeRobot 에 추가했습니다! Reachy 2 는 실제 로봇 제어 및 시뮬레이션 모두에서 사용 가능하며, 텔레오퍼레이션과 자율 모의 실험을 즉시 실험할 수 있습니다.

강력한 새로운 파이프라인 시스템 덕분에 이제 스마트폰 (iOS/Android) 에서 팔로우 어ーム을 텔레오퍼레이션할 수 있습니다. 스마트폰은 텔레오퍼레이터 장치로 작동하며, RobotProcessor 파이프라인이 모든 변환을 처리하여 다양한 행동 공간 (예: 엔드 이펙터 공간) 에서 로봇을 쉽게 구동할 수 있게 합니다. 예제를 확인하세요!

우리는 모든 사람이 접근 가능하게 만드는 데 설계된 포괄적이고 자기 주도적이며 완전히 오픈소스 코스를 출시했습니다! 실제 세계의 로봇이 어떻게 학습하는지 궁금하다면, 이것이 시작할 완벽한 장소입니다.

이 코스를 통해 다음을 배울 수 있습니다:

• 고전 로봇학의 기초를 이해합니다.
• VAE, 확산 (diffusion) 등 임베디드 학습에 생성 모델을 사용합니다.
• 실제 세계 로봇에 강화학습 (RL) 을 적용합니다.
• PI0 과 SmolVLA 와 같은 최신 일반화 로봇 정책을 탐구합니다.

Hugging Face Robotics 조직에 가입하여 따라 보시고 시작하세요!

더 깊이 있게 나아가고자 하는 분들을 위해, 우리는 가장 최근의 로봇학 발전에 대한 실습 튜토리얼도 게시했습니다. 이 가이드는 자기 독립적인 설명을 제공하며, 현대 기술을 원리에서 다시 유도하고 LeRobot 과 Hugging Face 를 사용한 준비된 코드 예제를 포함합니다.

튜토리얼 자체는 Space 에 호스팅되며, LeRobot 을 사용한 실용적인 예제를 특징으로 하며, 모든 모델과 데이터셋은 Hugging Hub 에 있습니다. 또한 자세한 개요를 위해 우리의 논문을 확인하세요.

이 주요 기능 외에도 이번 릴리스에는 수많은 버그 수정, 문서 개선, 업데이트된 의존성, 더 많은 예제, 그리고 LeRobot 사용 경험을 더욱 매끄럽고 신뢰할 수 있게 만드는 인프라가 포함되어 있습니다.

커뮤니티의 모든 분께 귀중한 기여와 피드백, 지원을 위해 큰 감사를 전합니다. 오픈소스 로봇학의 미래를 매우 기대하며, 여러분과 함께 다음 단계에 대해 작업하는 것을 기다립니다!

더 많은 내용을 지켜봐 주세요 🤗 여기에서 시작하세요! – LeRobot 팀 ❤️