LeRobot v0.6.0은 미래를 상상하도록 학습하는 월드 모델 정책 (World model policies: VLA-JEPA, FastWAM, LingBot-VA), 새로운 VLA(Vision-Language-Action) 모델들의 물결 (GR00T N1.7, MolmoAct2, EO-1, EVO1, Multitask DiT), 그리고 새로운 보상 모델 (Reward models) API (Robometer, TOPReward)를 도입합니다. 또한 lerobot-eval로 통합된 6개의 새로운 시뮬레이션 벤치마크, DAgger 스타일의 인간 참여형(human-in-the-loop) 수정을 지원하는 lerobot-rollout CLI, FSDP (Fully Sharded Data Parallel) 학습, 그리고 HF Jobs에서의 클라우드 학습 기능을 제공합니다. 데이터셋은 깊이(depth) 지원, 자동 언어 주석(language annotation) 파이프라인, 커스텀 비디오 인코딩, 그리고 최대 2배 빠른 데이터 로딩 기능을 갖추었으며, 이 모든 기능은 더 가벼워진 설치 환경 위에서 작동합니다.

• LeRobot v0.6.0: 상상하고, 평가하고, 개선하라
• 요약 (TL;DR)
• 목차
• 월드 모델 (World models): 상상하는 정책들
• VLA: 계속해서 성장하는 모델 동물원
• 보상 모델 (Reward models): 로봇의 성공 여부를 판단하기
• 데이터셋 (Datasets): 더 빠른 로딩, 더 풍부한 데이터
• 벤치마크 (Benchmarks): 모든 것을 평가하는 하나의 CLI
• 학습 및 추론 (Training & inference)
• 코드베이스 (Codebase): 더 가볍고 깔끔하게
• 커뮤니티 및 생태계
• 마치며

로보틱스 분야에서는 큰 질문을 던지고 있습니다: 월드 모델이 실제로 로봇 정책에 도움이 될까요? v0.6.0은 이 질문에 답하는 데 도움을 주기 위해 세 가지 정책을 LeRobot에 가져왔습니다. 각 정책은 학습 과정의 일부로 미래를 상상하도록 학습하며, 그 상상력을 저렴한 비용으로 유지하기 위해 각기 다른 경로를 택합니다.

VLA-JEPA는 소형 VLA (Qwen3-VL-2B 기반 구축)가 행동을 배우는 동안 잠재 공간 (latent space)에서 미래를 예측하도록 가르칩니다. 학습 과정에서 JEPA 월드 모델은 모델 자신의 행동으로부터 다가올 프레임을 예측해야 합니다. 핵심은 추론 (inference) 시점에 월드 모델이 사라진다는 점이며, 이를 통해 추가적인 추론 비용 없이 월드 모델의 감독 (supervision) 효과를 얻을 수 있습니다. 미세 조정 (fine-tuning)을 위한 DROID 사전 학습 베이스를 포함하여, 세 가지 즉시 사용 가능한 체크포인트가 Hub에 공개되어 있습니다:

lerobot-train \--policy.path=lerobot/VLA-JEPA-Pretrain \--dataset.repo_id=${HF_USER}/my_dataset \...

더 자세한 내용은 VLA-JEPA 문서와 논문을 확인하세요.

LingBot-VA는 한 단계 더 나아갑니다. 미래의 비디오와 행동을 청크(chunk) 단위로 함께 예측하고, 실제 관측값(observations)을 다시 입력하여 상상이 현실에 기반하도록 유지하는 자기회귀(autoregressive) 비디오-행동 모델입니다. 로봇이 상상한 내용을 저장(--policy.save_predicted_video=true)하여 실제로 일어난 일과 비교할 수도 있습니다. 추론(Inference)은 단일 24–32 GB GPU에서 실행됩니다. 기술적인 세부 사항은 문서와 논문을 확인하세요.

FastWAM은 논문 제목에서 질문을 던집니다: 월드 액션 모델(world action models)에 테스트 시간(test-time) 미래 상상이 필요할까요? 이 모델은 약 5B 규모의 비디오 생성 전문가와 소형 행동 전문가를 단일 네트워크로 결합하여, 모델이 말 그대로 자신의 롤아웃(rollouts)을 꿈꾸는 법을 학습하게 합니다. 추론 시에는 꿈꾸는 과정을 완전히 생략하고 행동 청크를 직접 디노이징(denoises)합니다. lerobot/fastwam_base에서 파인튜닝(Fine-tune)할 수 있으며, 자세한 내용은 문서에서 확인하세요.

NVIDIA GR00T 통합 기능을 NVIDIA의 최신 오픈 세대 교차 체형(cross-embodiment) 파운데이션 모델인 GR00T N1.7로 업그레이드했습니다. N1.7은 이전의 VLM을 flow-matching 행동 헤드(action head)로 데이터를 공급하는 Cosmos-Reason2-2B(Qwen3-VL 기반)로 교체했으며, 우리의 통합 기능은 NVIDIA의 원본 Isaac-GR00T 구현과 동일한 입력 및 출력을 갖도록 동등성 테스트(parity-tested)를 완료했습니다. 이제 Flash-attention은 선택 사항이므로, pip install 'lerobot[groot]' 명령만으로 바로 작동하며 NVIDIA가 공개한 체크포인트를 직접 로드할 수 있습니다.

LeRobot에서 GR00T N1.7은 N1.5를 대체합니다. N1.5가 필요한 경우 lerobot==0.5.1로 버전을 고정하세요.

Allen Institute for AI의 시각-언어-행동(vision-language-action) 모델인 MolmoAct2가 이제 파인튜닝(전체 또는 LoRA), 평가, 실제 로봇 배포를 포함한 전체 라이프사이클을 지원하며 LeRobot으로 포팅되었습니다. 보정 수정(calibration correction)이 내장된 기성 체크포인트를 통해 SO-100/101에서 제로샷(zero-shot)으로 실행할 수 있습니다:

lerobot-rollout \
--policy.path=lerobot/MolmoAct2-SO100_101-LeRobot \
--robot.type=so100_follower \
...

추론은 bf16에서 약 12 GB의 메모리를 사용하며, LoRA 파인튜닝은 단일 24 GB GPU에서 가능합니다. 전체 배포 가이드는 MolmoAct2 문서를 참조하세요.

시각-텍스트-행동 (vision-text-action) 데이터가 교차된 형태로 사전 학습된 VLA인 EO-1이 LeRobot에 합류합니다. 이는 해당 논문의 저자 중 한 명이 기여한 모델로, Qwen2.5-VL-3B 백본 (backbone)과 flow-matching 행동 헤드 (action head)로 구성되어 있습니다. --policy.type=eo1을 사용하여 표준 lerobot-train 워크플로우로 학습할 수 있습니다. 자세한 내용은 문서와 논문을 참조하세요.

Multitask Diffusion Transformer 정책은 TRI Large Behavior Models 레시피를 LeRobot에 가져옵니다. 이는 CLIP 시각 및 언어 임베딩 (embeddings)을 조건으로 하는 약 450M 파라미터 규모의 diffusion transformer로, 하나의 모델이 자연어를 통해 선택된 다양한 태스크를 학습합니다. 이 모델은 diffusion과 flow-matching 목적 함수 (objectives)를 모두 지원하며, 직접 학습시키기에 충분할 만큼 크기가 작습니다. 문서를 참조하세요.

VLA가 반드시 거대할 필요는 없습니다. EVO1은 정책을 0.77B 파라미터에 담아냈으며, 이는 InternVL3-1B 백본과 flow-matching 행동 헤드로 구성되어 있어, 적당한 사양의 GPU에서도 파인튜닝 (fine-tuning) 및 실시간 실행이 가능할 만큼 작습니다. EVO1은 2단계 파인튜닝 및 실시간 청킹 (Real-Time Chunking) 지원을 기본적으로 제공합니다. EVO1 문서와 논문을 참조하세요.

성공 감지 (Success detection) 및 진행도 추정 (progress estimation)은 로봇 학습 루프에서 누락되었던 요소들이며, v0.6.0이 이를 수용합니다. LeRobot은 이제 정책 API를 미러링하는 통합 보상 모델 API (lerobot.rewards)를 갖추게 되었으며, 하나의 인터페이스 뒤에 HIL-SERL 보상 분류기, SARM, 그리고 두 가지 새로운 추가 모델을 포함한 총 4개의 보상 모델이 배치되어 있습니다:

Robometer는 사전 학습된 범용 보상 모델입니다. lerobot/Robometer-4B를 어떤 LeRobot 데이터셋에든 적용하면, 별도의 태스크별 학습 없이도 원본 비디오와 언어 지시문으로부터 태스크 진행도와 성공 여부를 점수화합니다. 이는 Qwen3-VL-4B를 기반으로 구축되었으며, 100만 개 이상의 로봇 궤적 (trajectories) 데이터셋에 대한 궤적 비교를 통해 학습되었습니다 (RSS 2026 논문).

TOPReward는 완전한 제로샷 (zero-shot) 방식을 따릅니다. 즉, 보상 가중치 (reward weights)가 전혀 필요하지 않습니다. 이 모델은 기성 VLM (Qwen3-VL)을 래핑 (wrap)하여, 궤적 비디오와 태스크 지시문이 주어졌을 때

두 기능 모두 데이터셋에 프레임별 진행 곡선 (progress curves)을 기록하는 라벨링 스크립트 (labeling scripts)를 함께 제공하며, 이는 보상 인식 행동 복제 (Reward-Aware Behavior Cloning, RA-BC), 데이터셋 품질 검사, 그리고 진행 상황이 오버레이된 비디오 (progress-overlay videos) 제작에 즉시 사용할 수 있습니다. Robometer 및 TOPReward 문서를 확인하세요.

녹화는 더 이상 하나의 하드코딩된 코덱 (codec)에 갇혀 있지 않습니다. 새로운 --dataset.rgb_encoder.* 옵션은 전체 인코딩 인터페이스 (encoding surface) (코덱, 품질, 픽셀 포맷, GOP, 프리셋)를 노출하며, vcodec=auto는 기본 소프트웨어 AV1 인코더로 넘어가기 전에 NVENC, VideoToolbox, VAAPI, QSV와 같은 하드웨어 인코더를 탐색합니다. 기존 데이터셋의 경우, 단 하나의 명령어로 모든 것을 재인코딩할 수 있습니다:

lerobot-edit-dataset \
--repo_id ${HF_USER}/my_dataset \
--operation.type reencode_videos \
...

자세한 내용은 비디오 인코딩 문서에서 확인할 수 있습니다.

Intel RealSense를 연결하고 use_depth: true를 설정하면, LeRobot은 엔드 투 엔드 (end-to-end)로 깊이 맵 (depth maps)을 기록합니다. 밀리미터 (mm) 단위로 캡처되어 RGB 카메라와 함께 컴팩트한 12비트 깊이 비디오 스트림으로 압축되며, 학습 시점에 다시 물리적 단위로 디코딩됩니다. 깊이 렌더링은 녹화 중 및 lerobot-dataset-viz에서 실시간으로 확인할 수 있으며, SO-100/101, Koch, OpenArm, reBot, Unitree G1 등에서 작동합니다.

이제 데이터셋은 에피소드당 하나의 태스크 문자열에 머물지 않습니다. LeRobot 데이터셋은 이제 풍부한 언어 주석 (language annotations) (타임스탬프가 찍힌 하위 태스크, 계획, 메모리, 수정 사항, 음성, 카메라별 VQA 쌍)을 네이티브하게 저장하며, 새로운 lerobot-annotate CLI는 에피소드를 관찰하는 VLM을 사용하여 이를 자동으로 채워줍니다:

lerobot-annotate \
--repo_id=${HF_USER}/my_dataset \
--new_repo_id=${HF_USER}/my_dataset_annotated \
...

그 후 YAML 레시피 (recipe) 레이어가 샘플링 시점에 이러한 주석들을 채팅 스타일의 학습 메시지로 렌더링합니다. 이는 바로 내일의 장기적 목표 (long-horizon)를 가진 대화형 로봇 정책 (robot policies)이 학습하게 될 데이터와 정확히 일치합니다. HF Jobs를 통해 규모를 확장할 수 있으며, 자세한 내용은 주석 파이프라인 (annotation pipeline) 문서를 참조하세요.

비디오 데이터셋 (video datasets) 학습 속도가 별도의 설정 없이도 최대 ~2배 더 빨라졌습니다: 멀티 카메라 프레임 (multi-camera frames)이 병렬로 디코딩되며, 데이터로더 워커 (dataloader workers)는 압축된 uint8 프레임을 전송하여 프로세스 간 메모리 사용량을 4배 줄였고, 지속적인 워커 (persistent workers)가 에포크 (epochs) 전반에 걸쳐 디코더 캐시 (decoder caches)를 유지합니다. 대규모 데이터셋의 일부를 로드하는 작업 (episodes=[...])은 기존 수 분에서 밀리초 단위로 단축되었습니다 (당사의 벤치마크 기준 275초에서 0.06초로 감소). 샘플링 또한 이제 결정론적 (deterministic)이며 재개 가능 (resumable)하므로, 중단된 학습도 샘플과 정확히 일치하게 재시작할 수 있습니다.

v0.5.0이 VLA (Vision-Language-Action) 모델을 위한 평가 허브로서 LeRobot의 기반을 마련했다면, v0.6.0은 동일한 lerobot-eval CLI를 통해 실행 가능한 6개의 새로운 시뮬레이션 벤치마크를 통해 이를 완성했습니다. 각 벤치마크는 문서 페이지, Docker 이미지, 그리고 CI에서 스모크 테스트 (smoke-tested)를 마친 SmolVLA 베이스라인 체크포인트를 제공합니다:

• LIBERO-plus: 조명 및 카메라 시점부터 재작성된 지시어에 이르기까지 7개 축에 걸쳐 약 10,000개의 변형된 LIBERO 변형을 사용하여 VLA를 스트레스 테스트합니다. 이는 정책 (policy)이 언제 실패하는지를 알려줍니다.
• RoboTwin 2.0: 강력한 도메인 무작위화 (domain randomization)가 적용된 SAPIEN 환경에서 50개의 양손 조작 (bimanual manipulation) 작업을 다루며, Hub에 10만 개 이상의 즉시 학습 가능한 궤적 (trajectories)을 제공합니다.
• RoboCasa365: 모바일 매니퓰레이터 (mobile manipulator)를 사용하여 절차적으로 생성된 2,500개의 주방에서 365개의 주방 작업을 다루며, 당사 라인업 중 가장 큰 작업 범위를 자랑합니다.
• RoboCerebra: 언어 기반의 중간 지시어(language-grounded intermediate instructions) 아래 3~6개의 하위 목표 (sub-goals)를 연결하는 에피소드를 통해 장기적 행동 (long-horizon behavior)을 평가하며, 6,660개의 에피소드로 구성된 데이터셋을 포함합니다.
• RoboMME: 메모리 시험입니다. 귀하의 정책이 반복 횟수를 세고, 숨겨진 객체를 추적하며, 시연된 절차를 모방할 수 있습니까? 4개의 메모리 스위트 (memory suites)에 걸친 16개 작업을 제공합니다.
• VLABench: 물리 질문부터 커피를 내리는 것과 같은 엔드 투 엔드 (end-to-end) 복합 작업에 이르기까지, 조작 (manipulation)에서의 지식과 추론을 테스트합니다.

lerobot-eval \
--policy.path=lerobot/smolvla_robotwin \
--env.type=robotwin \
...

시뮬레이터 백엔드 (Simulator backends)는 각각 고유한 설치 단계를 포함하는 특정 시스템 의존성 (system dependencies)을 요구합니다. 각 문서 페이지에 정확한 레시피가 안내되어 있으며, 설정을 건너뛰고 싶다면 모든 벤치마크 (benchmark)에 이미 준비된 Docker 이미지가 포함되어 있습니다.

LIBERO, Meta-World, NVIDIA IsaacLab-Arena와 더 함께, 이제 한 곳에서 9개의 벤치마크 패밀리를 사용할 수 있으며, 새로운 '새로운 벤치마크 추가하기 (Adding a New Benchmark)' 가이드를 통해 귀하의 벤치마크를 연결하는 방법을 정확히 설명합니다. 평가 (Evaluation) 속도도 빨라졌습니다. 병렬 평가 (parallel eval)는 이제 비동기 벡터화 환경 (async vectorized environments)을 기본값으로 사용하며, 벤치마크 결과 최대 2배 더 빠른 것으로 확인되었습니다.

이전에는 정책 (policy)을 배포하는 것이 lerobot-record 상에서 임시방편 (hack)으로 이루어졌습니다.

새로운 lerobot-rollout CLI는 플러그인 가능한 전략 (strategies)과 추론 백엔드 (inference backends) (느린 호환 VLA를 위한 실시간 청킹 (Real-Time Chunking) 포함)를 통해 배포를 독자적인 워크플로 (workflow)로 만듭니다. base 전략은 단순히 정책을 실행합니다. sentry는 에피소드 (episodes)를 순환하며 지속적으로 기록하고 Hub로 업로드합니다. highlight는 링 버퍼 (ring buffer)를 유지하다가 키를 누르면 마지막 N초를 저장하므로, 흥미로운 순간을 절대 놓치지 않습니다. episodic은 클래식한 에피소드/리셋 (episode/reset) 기록 워크플로를 모방합니다. 그리고 dagger는 배포를 데이터 수집 (data collection)으로 전환합니다.

DAgger 전략을 사용하면, 정책이 실행되는 것을 지켜보다가 잘못되는 순간 키(또는 USB 풋 페달)를 누르고, 리더 암 (leader arm)으로 제어권을 가져와 교정 동작을 기록한 뒤, 다시 제어권을 넘겨줄 수 있습니다. 구동되는 리더 (Actuated leaders)는 사용자가 제어권을 가져가기 전에 팔로워 (follower)의 포즈 (pose)로 이동하므로, 핸드오버 (handover) 시 급격한 움직임 (jerk)이 없습니다. 모든 교정 프레임에는 intervention 플래그가 태깅되며, 결과 데이터셋은 다음 미세 조정 (fine-tune)을 위한 준비가 완료됩니다:

lerobot-rollout \
--strategy.type=dagger \
--policy.path=${HF_USER}/my_policy \
...

배포하고, 교정 동작을 수집하고, 미세 조정하고, 반복하십시오. 로봇 학습 플라이휠 (robot learning flywheel)이 이제 CLI 플래그 하나로 구현되었습니다. 배포 문서를 읽어보세요.

로봇 파운데이션 모델 (Robot foundation models)은 단일 GPU의 한계를 넘어서고 있습니다. 이제 LeRobot 학습은 Accelerate를 통해 FSDP (fully sharded data parallel)를 지원합니다. 파라미터 (parameters), 그래디언트 (gradients), 그리고 옵티마이저 상태 (optimizer state)가 GPU 전체에 샤딩 (sharded)되며, 체크포인트 (checkpoints)는 다른 정책과 마찬가지로 로드할 수 있는 일반적인 단일 파일 형태인 model.safetensors로 다시 모아집니다.

심지어 다른 수의 GPU에서 FSDP 실행을 재개할 수도 있습니다. 멀티 GPU 학습 문서를 참조하십시오.

GPU가 없나요? 문제없습니다. 이제 플래그 하나만 추가하면 동일한 lerobot-train 명령어를 클라우드에서 실행할 수 있습니다:

lerobot-train \
--dataset.repo_id=${HF_USER}/so101_test \
--policy.type=act \
...

LeRobot은 필요한 경우 사용자의 로컬 데이터셋을 프라이빗 허브 (private Hub) 저장소로 푸시하고, 작업을 제출하며, 로그를 터미널로 스트리밍하고, 마지막에 학습된 정책을 허브로 푸시합니다. --job.target을 통해 T4부터 8x H200까지 무엇이든 선택할 수 있습니다 (컴퓨팅 비용은 사용한 만큼 지불하는 방식입니다). 문서를 확인해 보세요.

pip install lerobot은 이제 기본 의존성 (dependencies)이 약 40% 줄어들어 진정으로 가벼워졌습니다. 기능별 익스트라 (Feature-scoped extras) ([training], [core_scripts], [evaluation])