Every-Embodied: 구동 지능(Embodied AI) 실습 및 학습 자료
요약
본 자료는 'Every-Embodied'라는 이름으로 구동 지능(Embodied AI) 학습을 위한 실습 및 구현 중심의 라이브러리를 소개합니다. MuJoCo, Isaac Sim 등 다양한 시뮬레이터 기반 데모와 튜토리얼을 제공하여, 초보자도 쉽게 로봇 공학 최신 기술을 직접 경험하고 구현할 수 있도록 설계되었습니다.
핵심 포인트
- 구동 지능(Embodied AI) 학습에 특화된 실습 라이브러리 제공
- MuJoCo, Isaac Sim 등 주요 시뮬레이터를 활용한 데모가 풍부함
- Python 기초만으로도 로봇 공학의 최신 트렌드(VLA, VLN)를 경험 가능
- 실행 가능한 예제와 환경 스크립트를 통해 진입 장벽을 낮춤

📌 팀 학습 문서 (Team Learning) · ✨ 학습 지도 (Learning Map) · 🤖 최신 구현 (SOTA) · 📖 온라인 독서 · AtomGit 저장소
첫 번째 구동 지능(Embodied AI) 시뮬레이션 데모를 로컬에서 즉시 실행하고 싶으신가요? 단 세 단계만 거치면 됩니다:
# 1. 저장소 클론 (Clone)
git clone --depth 1 https://github.com/datawhalechina/every-embodied.git
cd every-embodied
...
자세한 설명은 examples/README.md를 참고하세요.
G0.5 × 로봇 피아노 연주
《사랑해요, 중국》 양손 다지 연주
사운드 포함 전체 비디오 |
MicroDuck 농구공 균형
로봇이 농구공 위에서 균형을 유지하는 모습
전체 비디오 |
AgiBot World Model 대회 평가
개선된 방법의 예측 결과, 클릭하여 기준선 비교 및 구현 튜토리얼 확인
|
프로젝트 빠른 시작
MuJoCo 기반으로 프로젝트 기초를 한 번에 파악하기 |
Genie Sim의 Pi0 배포
Pi0과 Isaac Sim을 기반으로 고정밀 시뮬레이션 구현 |
LeRobot 원격 조작
듀아(地瓜) RDK-X5 연결 SO101 로봇 팔 실습 지원 |
비전 의미론적 인식
장면 분할 및 목표 탐지, 로봇이 환경을 '이해'하도록 돕기 |
LLM 제어 드론 항법 VLN
WebUI를 통해 드론 대규모 언어 모델(LLM) 기반 VLN 항법에 빠르게 접근하기 |
SmolVLA 기반 LIBERO 기준 미세 조정
소형 VLA 테스트 로봇의 평생 학습 기준 |
춘완(春晚) 로봇 복제
Doubao 생성 성공 부 비디오를 입력하면, 로봇 MuJoCo 시뮬레이션이 출력됨 |
ETPNav-VLN 항법 구현
연속 환경 비전 언어 항법 (VLN-CE) 분야의 강력한 기준선(Baseline)
|
LingBot-Map 비디오 측량
연속적인 캠퍼스 비디오 스트림에서 궤적, 깊이 및 포인트 클라우드 추정 |
UniLab + MotrixSim 이종 RL
6GB 그래픽카드로 state-based RL을 실행하고, uv run --no-sync 데모 티저의 PBR 렌더러 경험하기 |
SIM1 연체 시뮬레이션 및 데이터 생성
양팔 직물 작업에 대한 리플레이(replay), 렌더링 및 확산 궤적 생성 프로세스 |
ForgeCAD 3D 프린터, 키보드 및 민첩한 손
public kit의 3D 프린터, 비디오 키보드 및 움직이는 민첩한 손 사례를 복제하고, 파라미터 렌더링 GIF와 STEP/STL/3MF 내보내기를 실행하기 |
Every-Embodied는 '기초 친화적이고(基础友好), 공학적으로 재현 가능하며(工程可复现), 최신 기술을 확장할 수 있는(前沿可拓展)' 학습 라이브러리를 구축하는 데 전념합니다.
저희는 진입 장벽을 낮추고자 합니다: 현재 Python 기초만 가지고 있더라도, 시뮬레이션과 최소 실행 가능한 데모부터 시작하여 '이해'에서 '직접 구현'으로 점진적으로 나아갈 수 있도록 돕습니다.
초보자 친화적: 복잡한 로봇 공학 유도 과정을 처음부터 요구하지 않고, 우선 실행 가능한 예제와 환경 스크립트를 제공합니다. 실습 지향적: '돌려보기-결과 확인-원리 이해'의 학습 경로를 강조하여 추상적인 개념이 주는 좌절감을 줄입니다. 최신 기술 연결: MuJoCo / Isaac Sim부터 VLA / VLN까지, 학습 경로가 산업의 최신 트렌드와 동기화되도록 합니다.
본 튜토리얼은 로봇 전문 배경을 가진 학생뿐만 아니라 다양한 분야의 학습자도 환영합니다:
Python 초보자 / 전환 개발자: 기본적인 프로그래밍 능력을 갖추고 있으며, AI+로봇, 구동 지능 방향으로 체계적으로 진입하고자 하는 분 대학생 / 대학원생: 수업 프로젝트, 졸업 설계 또는 논문 구현을 통해 구동 지능 실습 능력을 빠르게 구축하고 싶은 분 알고리즘 엔지니어: 비전, 강화 학습(RL), 대규모 모델(LLM) 역량을 실제 물리적 상호작용 시나리오로 이전하고자 하는 분 하드웨어 및 로봇 애호가: 하드웨어 제어, 시뮬레이션 검증부터 Sim2Real 배포까지의 전체 과정을 이해하고 싶은 분 교육 종사자 및 커뮤니티 조직자: 오픈소스 튜토리얼을 기반으로 강의, 독서 모임, 트레이닝 캠프 및 프로젝트 공동 창작을 기획하고자 하는 분
본 강좌는 세 단계로 나뉘어 구동 지능의 세계를 점진적으로 깊이 있게 안내합니다:
| 단계 | 핵심 기술 | 산출물 |
|---|---|---|
| 1단계 | 로봇 공학 기초, 하드웨어 선정, ROS 입문 | 자체 시뮬레이션 로봇 구축 / 시뮬레이션 환경 구성 |
| 2단계 | 컴퓨터 비전, 운동 계획, 강화 학습 (RL) | '인식-계획-파지' 폐쇄 루프 임무 완료 |
| 3단계 | 모방 학습, 대규모 모델(VLA/VLN), Sim2Real | 대규모 모델 내비게이션 VLN, OpenVLA, SmolVLA 등 최신 프로젝트 재현 및 시뮬레이션 또는 실제 배포 구현 |
| DexJoCo 양팔 하노이 탑 | RoboCasa365 장거리 식사 준비 임무 |
|---|---|
| Pi0.5 양팔 협업, 삼중 시점, 47.6초 | GR00T N1.5 가정 장시퀀스 조작, 사중 시점, 195초 |
커버를 클릭하여 전체 비디오 보기.
두 개의 완전한 라운드 모두 AMD Ryzen AI MAX+ 395에서 폐쇄 루프 추론 및 비디오 녹화가 완료되었습니다. AMD Physical AI 시뮬레이션 벤치마크 및 장거리 비디오 재현 튜토리얼을 확인하고, Every Embodied, RoboCasa365, DexJoCo, DISCOVERSE, RoboWits, Unitree G1의 임무 프로토콜, 평가 결과 및 다중 시점 내보내기 프로세스를 계속 학습하세요.
[2026-10-06] 추가된 G0.5 × 양손 피아노: 건반 위치 변화 후 재배치 및 연주 지속: 공개 R1 Pro 양손 연주, G0.5 모델 연결, 악기 이동 조정 및 연주 지속 코드 제공, 로컬 재생, 연습 곡 악보 및 실행 기록 제공. [2026-09-29] Booster K1 웹 페이지 MuJoCo 로컬 배포 및 AMP 학습 튜토리얼 업데이트: 상위 온라인 데모와 Windows 로컬 정적 호스팅 구분, K1 웹 모델과 policy.bin을 명시.
상위 디렉터리에 MIME 호환 서버, 권한 부여 후 GitHub Pages 게시 단계 및 Linux + NVIDIA 선택적 학습 가이드 보충. [2026-09-05] Microduck 양발 강화 학습 튜토리얼 업데이트: BallKick 비대칭 actor-critic, 보상 및 무작위화 분해 추가, 독립적인 학습 및 ONNX 내보내기 명령어 제공, 공식 Microduck Sandbox에 연결하여 MuJoCo WebAssembly, onnxruntime-web, Three.js와 50 Hz 브라우저 폐쇄 루프 설명; 로컬 실측으로 오른발 전략이 성공적으로 공을 터치하고 화면 및 QA 기록 저장. [2026-09-04] UniCross 통합 교차 기술 민첩 조작 가이드 추가: 강화 학습 및 민첩 조작 장에 분류, 파지, 운반, 손내 회전 및 손내 이동이 어떻게 손-물 관계 관측, 증분 동작 공간 및 보상 구조를 공유하는지 시스템적으로 분해, 10개의 PPO 전문가가 DAgger 증류를 통해 단일 전략으로 통합되는 과정, 그리고 미지의 물체, 교란, Allegro / MANO / Sharpa Wave 교차 손 모양 및 장시퀀스 조합 실험; 동시에 Microduck 양발 강화 학습 튜토리얼을 업데이트하여 동일한 walking policy가 실시간 실행하는 12초 명령 안무 비디오와 재현 가능한 녹화 매개변수 추가. [2026-08-29] AMD Physical AI 시뮬레이션 벤치마크 및 장거리 비디오 재현 튜토리얼 추가: Every Embodied, RoboCasa365, DexJoCo, DISCOVERSE, RoboWits, Unitree G1의 AMD ROCm 실행 링크, 공식 평가 프로토콜 및 다중 시점 비디오를 요약하고, DexJoCo 양팔 하노이 탑과 RoboCasa365 장거리 식사 준비 임무의 완전한 성공 라운드를 제공. [2026-08-23] EVA-Client 실제 기기 배포 및 평가 엔지니어링 가이드 추가: 기존 VLA 장에 분류, EVA-Client가 LeRobot 데이터, 외부 VLA 전략 서버와 실제 로봇을 어떻게 연결하는지 시스템적으로 설명하며, Transport, Robot Definition, Policy Client, 다섯 가지 action chunk 스케줄링 전략, 일곱 가지 콘솔 워크플로우, 감사 가능한 평가 로그, 무실기 open-loop 경험 및 두 프로세스 실제 기기 배포 모드를 다룸; 동시에 현재 공식 버전에서 SO-101 적응이 제공되지 않음을 명확히 하고 커뮤니티 확장에 필요한 로봇 설명서, 하드웨어 노드, 동작 계약, 구성 및 보안 검증 목록을 제시. [2026-09-08] VLNVerse 내비게이션 대회 경험 공유 추가: 베이스라인 학습, InternVLA 양 시스템 마이그레이션, 학습 자산 보충, 렌더링 입력 문제 해결, 다중 카드 가중치 내보내기 및 완전한 평가 경험 기록, 항목별 검증 요약 및 제출 패키지 확인 스크립트 첨부. [2026-08-01] ATEC2026 대회 사후 복습 및 오픈 소스 솔루션 튜토리얼 추가: Task A/B/D/E의 임무 경계, 관측 계약, 환경 시점 디버깅, Task B 공개 솔루션 비교, 평가 및 재현 경계를 제15장에 통합하고, Task B 공개 재현 아카이브와 Task E 오픈 소스 리소스를 부속 자료로 제공. [2026-07-18] 추가됨
Dexbotic-RLinf 엔지니어링 VLA 후 학습 가이드: 기존 VLA 장에 포함되어, Dexbotic이 RLinf를 분산 강화학습(RL) 백엔드로 어떻게 사용하는지 시스템적으로 설명합니다. PPO를 사용하여 LIBERO 상에서 Dexbotic $\pi_0$ / DM0에 온라인 파인튜닝을 수행하며, 이는 Dexbotic의 3계층 도구 상자 아키텍처, RLinf 프론트엔드와 Dexbotic 백엔드 두 가지 시작 방식, dexbotic_pi0 / dexbotic_dm0 동적 모델 등록, 액터(actor) / 롤아웃(rollout) / 환경 워커(env worker) 분업, 체크포인트 다운로드, TensorBoard 지표, 독립적인 평가 등과 관련됩니다. 또한 이 파이프라인이 경량의 원클릭 재현보다는 엔지니어링 후 학습 가이드로 더 적합하다는 경계까지 다룹니다. [2026-08-05]
DM0.5 고성능 추론 및 OpenDM 오픈소스 가이드: 기존 VLA 장에 포함되어, DM0.5의 Gemma3 VLM prefix, Action Expert suffix, KV cache, Flow Matching action chunk와 공개된 OpenDM 코드 진입점을 시스템적으로 분해합니다. 또한 공식 웹사이트 공지에서 언급된 Vision TensorRT, Tuned FlexAttention, FP8 E4M3 Tensor Core MLP, Triton fused kernels 및 시작 시점의 CUDA Graph가 어떻게 9.29배 추론 최적화 파이프라인을 구성하는지 분석하고, OpenDM이 현재 재현 가능한 모델/학습/추론/평가 범위와 DM0.5 전용 9.29배 배포 코드가 공개 저장소에 아직 완전히 나타나지 않은 경계를 명확히 합니다. [2026-07-18]
Robots That Know What to Ask 보상 정렬 가이드: '05-구체적 시나리오의 깊이와 강화학습' 장에 포함되어, RSS 2026 논문 Robots That Know What to Ask: Recovering Misaligned Rewards through Targeted Explanations을 시스템적으로 분해합니다. ASQ가 어떻게 시연 특징 분산(demonstration feature variance)에서 잘못 정렬된 보상 차원(misaligned reward dimension)을 식별하고, 자연어 설명(natural language explanation)을 이용해 인간이 교정적 시연(corrective demonstrations)을 추가하도록 유도하는지 중점적으로 다룹니다. 또한 JacoRobot 시뮬레이션, Franka 실제 사용자 실험, LLM 필터링, 시연 특정 합리성/가중치 부여(demo-specific rationality / weighting), 그리고 VLA / 세계 모델 후 학습과의 인터페이스를 다루며, 현재 공식 코드 저장소에서 검색되지 않은 재현 경계까지 포함합니다. [2026-07-18]
GE-Sim 2.0 폐쇄 루프 비디오 세계 시뮬레이터 가이드: '17-구체적 세계 모델' 장에 포함되어, AgiBot Genie Envisioner World Simulator 2.0을 시스템적으로 분해합니다. 특히 이것이 액션 조건 비디오에서 전진하는 것을 넘어 폐쇄 루프로 호출 가능한 학습된 세계 시뮬레이터(learned world simulator)로 어떻게 발전했는지 중점적으로 다룹니다. Pixel-aligned Action Condition, Proprioceptive State Expert, World Judge, DMD2 가속, WorldArena 공개 랭킹 1위, 2B G01 + OmniPicker 오픈 가중치, WorldModelEnv.step(actions) 인터페이스, $\pi_{05}$ 정책 시연 롤아웃, 성공/실패 예시와 현재 World Judge가 RewardClient를 직접 연결해야 하거나 추가 발표를 기다려야 하는 재현 경계를 다룹니다. [2026-07-18]
Agentic-VLA 온라인 적응 가이드: 기존 VLA 장에 포함되어, Efficient Online Adaptation for Vision-Language-Action Models을 시스템적으로 분해합니다. 이 모델이 새로운 VLA 기반(foundation)이라기보다는 OpenVLA-OFT를 중심으로 구축된 에이전트적 온라인 적응 외곽 루프(outer loop)임을 중점적으로 설명하며, Adaptive Reward Synthesis, Language-Guided Exploration, Experience Memory, GRPO, LIBERO / RoboTwin 2.0 평가, 1-shot 및 교차 작업 전이 결과, reward hacking / memory interference 위험성, 그리고 현재 공식 코드 저장소에서 검색되지 않은 재현 경계까지 다룹니다. [2026-07-18]
Shape Your Body 가치 기울기 로봇 설계 가이드: '21-매니퓰레이터 및 로봇 설계' 장에 포함되어,
시스템은 TU Darmstadt / RIG / DFKI의 Value Gradients for Multi-Embodiment Robot Design을 설명하며, 다중 구체화(Multi-Embodiment) 정책과 가치 함수를 먼저 훈련한 후 크리틱(critic)을 고정하고 Value-Gradient Design Search를 통해 새로운 로봇 신체 매개변수를 최적화하는 방법을 중점적으로 분석합니다. 이 과정은 URMA, direct-design critic, soft trust region, 50개의 로봇 훈련 세트, 190-1177 차원의 연속 설계 공간, 단일 로봇 및 제외된(held-out) 로봇의 설계 결과, 그리고 설계 분석 열 지도 등을 다루며, 현재 프로젝트 페이지에 표시된 Code (soon)의 오픈 소스 경계를 포함합니다. [2026-07-18] VisualThink-VLA 시각적 증거 추론 가이드: 기존 VLA 섹션에 속하며, Visual Intermediate Reasoning for Effective and Low-Latency VLA Policies를 시스템적으로 분석합니다. 텍스트 CoT가 실시간 로봇 폐쇄 루프 제어에 적합하지 않은 이유를 중점적으로 설명하고, VisualThink-VLA가 장문 추론을 대체하기 위해 bbox / edge / motion / relation 네 가지 유형의 라우팅된 시각적 증거(routed visual evidence)를 어떻게 사용하는지 다룹니다. 이는 고정된 VLA 백본(frozen VLA backbone), Visual State Composer, FullSoft teacher, soft-hard 협업 라우팅(soft-hard collaborative routing), VisualEvidence-Kit, 754.7k VisualEvidence-Set, BridgeData V2를 통한 22.8배 지연 가속화 및 현재 MIT 코드 골격 재현 진입점을 포함합니다. [2026-07-18] LWD 실제 기체 군집 강화 학습 가이드: 기존 VLA 섹션에 속하며, Zhiyuan AGIBOT Finch / Shanghai Innovation Institute의 Learning while Deploying을 시스템적으로 분석합니다. 실기체 배포가 어떻게 데이터 플라이휠(data flywheel)이 되는지를 중점적으로 설명하며, 16대의 AgiBot G1 양팔 로봇, 8가지 실제 조작 임무, 오프라인에서 온라인으로의 리플레이, 분포적 암묵적 가치 학습(Distributional Implicit Value Learning), Adjoint Matching을 사용한 Q-learning, flow-based VLA 액션 헤드, 장기 순 과업 수익 등을 다루고, 현재 프로젝트 페이지에 공개되었으나 원클릭 재현 코드 진입점이 제공되지 않은 재현 경계를 포함합니다. [2026-07-18] Dexora 고자유도 양팔 민첩 VLA 가이드: 기존 VLA 섹션에 속하며, 칭화(Tsinghua), Zhiyuan, 홍콩대(HKU), 베이징대(PKU) 등 팀의 ICRA 2026 Manipulation and Locomotion 최우수 논문 후보 작업을 시스템적으로 분석합니다. Dexora가 왜 36-DoF 양팔 및 이중 민첩 손 VLA인지 중점적으로 설명하며, 외골격 + Apple Vision Pro 혼합 원격 조작, MuJoCo 디지털 트윈, 100K 규모의 시뮬레이션 궤적, 10K+ 실제 원격 조작 에피소드, discriminator-guided quality-aware diffusion-transformer 훈련, 양손 민첩 임무, 교체 가능한 본체(cross-body) 일반화 및 현재 코드/데이터 공개 진입점을 포함합니다. [2026-07-18] Galaxea G0.5 자기회귀 VLA 가이드: 기존 VLA 섹션에 속하며,
액션 토큰(action tokens)과 함께 ActionCodec, 27차원 공유 액션 공간, Qwen3.5 2B VLM-as-Actor, DROID / Bridge-SimplerEnv / RoboTwin / LIBERO / BEHAVIOR-1K 결과 및 G0.5 Community License 오픈 소스 경계를 포괄합니다. [2026-07-18] PRTS 강화학습 기반 VLA 가이드 추가: 기존 VLA 챕터에 포함되며, TeleAI PRTS-Droid가 MolmoSpaces 글로벌 TOP3 순위에 진입한 사건을 중심으로 PRTS가 reward-label-free contrastive RL을 VLA 사전 학습에 적용하는 방식을 체계적으로 설명합니다. Qwen3-VL 백본(backbone), single-forward attention mask, Flow Matching Action Expert, goal-reachability value, LIBERO / RealMan / Flexiv / MolmoSpaces 평가 및 CC BY-NC 4.0 오픈 소스 경계를 포괄합니다. [2026-07-18] $\tau_0$-WM 통합 비디오-액션 세계 모델 가이드 추가: 17-구체적 세계 모델에 포함됩니다. Shanghai Innovation Institute와 AGIBOT Finch의 5B급 오픈 소스 video-action world model을 체계적으로 분석하며, Wan2.2-TI2V-5B / Action DiT 아키텍처, VAM 및 ACVS 이중 인터페이스, 27.3K 시간의 이종 데이터, modality-specific supervision masks, re-denoising consistency, test-time proposal-evaluation-revision 등 GitHub / Hugging Face에서 현재 재현 가능하거나 아직 공개되지 않은 Simulator / TTC 경계를 포괄합니다. [2026-07-18] NBS 능동 감지 경로 계획 가이드 추가: 08-구체적 내비게이션 및 VLN의 내비게이션 계획 최전선에 포함됩니다. IJRR OnlineFirst 논문 An Efficient Beam Search Algorithm for Active Perception in Mobile Robotics를 체계적으로 설명하며, active perception 문제 정의, Node-wise Beam Search, Expected Gain, RRAG 온라인 구성, Habitat / HSSD 세 가지 능동 감지 임무, ANYmal 실제 기기 검증, 그리고 OpenApero가 현재 코드를 공개하지 않은 재현 경계를 포괄합니다. [2026-07-18] BWM 액션 조건 세계 모델 가이드 추가: 17-구체적 세계 모델에 포함됩니다.
시스템은 Tongji Boundless 팀이 WorldArena에서 오픈소스로 공개한, action-conditioned video world model(행동 조건부 비디오 세계 모델)을 설명합니다. 이 모델은 Wan2.2-TI2V-5B 기반, Action Encoder, AdaLN 동작 주입, 자기회귀 rollout, WorldArena 랭킹 차트, 공식 GIF 예시, HF 가중치 및 현재 학습 코드/기술 보고서가 미공개인 경계를 포괄합니다. **[2026-07-18]**에는 3DVLA 삼차원 공간 인스턴스 강화 VLA 가이드, PhysBrain 1.0 물리 상식 강화 VLA 가이드, HumanoidMimicGen 전신 계획 데이터 생성 가이드와 Gamma-World 다중 에이전트 세계 모델 가이드가 추가되었습니다: 3DVLA와 PhysBrain은 기존 VLA 장에 속하며, 각각 3D 공간 인스턴스 token 주입 action expert 및 인간의 1인칭 비디오를 물리 상식 감독으로 변환한 후 TwinBrainVLA와 LangForce를 통해 로봇 제어로 전이하는 방식을 분해 설명합니다. HumanoidMimicGen은 시뮬레이션 및 데이터 생성 장에 속하며, 소량의 휴머노이드 시연(demonstration), 스킬 제약, 전신 IK/운동 계획, G1 벤치마크 및 sim-and-real co-training을 설명합니다. Gamma-World는 세계 모델 장에 속하며, NVIDIA x Tsinghua 다중 에이전트 공유 세계 모델 프로젝트 차트, 코드/가중치 진입점, Simplex RoPE, Sparse Hub Attention, 24 FPS 스트리밍 rollout 및 2인 학습에서 4인 일반화까지 보충합니다. **[2026-07-07]**에는 Datawhale 구체 지능(Embodied AI) 초급자 팀 학습 경로 v6가 업데이트되었습니다: 최근 추가된 세계 모델, VLA 최전선, Locate Anything 시각 언어 위치 지정, LingBot-Map 삼차원 재구성, Build123d / Text-to-CAD / ForgeCAD 코드 모델링, SIM1, UniLab + MotrixSim 및 AMD ROCm 특집을 기반으로 20일 팀 학습 경로를 재구성하여 '조작 제어', '인지/지도 구축', '내비게이션 계획', '세계 모델' 네 가지 주요 라인으로 분할하고, Task01 마감일을 7월 17일 03:00로 명확히 했습니다. **[2026-07-02]**에는 RoboDream 조합형 세계 모델 데이터 합성 가이드가 추가되어 17-구체 세계 모델에 배치되었습니다. 전진 가이드 라인: 시스템은 USC PSI Lab과 TRI에서 제안한 Compositional World Models for Scalable Robot Data Synthesis를 분해 설명하며, 이것이 실시간으로 step(action)할 수 있는 신경 시뮬레이터가 아니라, robot-only 궤적, scene prior, object prior 기반의 로봇 시연 비디오 합성 데이터 엔진임을 중점적으로 다룹니다. 이 튜토리얼은 공식 아키텍처 차트, prior extraction, retrieval and rebirth, prop-free teleoperation, 실제 로봇 실험표 및 현재 코드 오픈소스로 공개된 경계를 보충합니다. **[2026-06-29]**에는 EventVLA 시각 증거 기억, WALL-OSS 오픈소스 VLA 모델, WALL-X 엔지니어링 프레임워크 내비게이션 및 WALL-WM 이벤트 레벨 세계 동작 모델이 추가되었습니다: 앞 세 가지는 기존 VLA 장에 속하고, WALL-WM은 세계 모델 장에 속하며, 각각 공식 다이어그램, 오픈소스 주소, 가중치/데이터 진입점 및 현재 적합한 재현 경계를 보충합니다. **[2026-06-29]**에는 AMD ROCm 전략 복제 특집이 추가되었습니다: AMD Ryzen AI MAX+ / ROCm 장치를 기반으로 MuJoCo 컵 잡기 작업을 복제하고, ACT DAgger 진단, SmolVLA 빨강/파랑 컵 가중 샘플링, $ ext{pi}_0$ 권한 연기 테스트 및 학습 게이팅을 정리했으며, 디버깅 과정을 통해 AMD 플랫폼에서 구체 전략을 전이하는 방법을 배울 수 있도록 노트북, 성공률 차트 및 성공/실패 핵심 프레임을 함께 제공합니다. **[2026-06-27]**에는 Locate Anything 시각 언어 위치 지정 재현 튜토리얼이 추가되어 nvidia/LocateAnything-3B를 포괄합니다.
로컬 환경, RTX PRO 6000 Blackwell 스모크 테스트, Parallel Box Decoding 원리, 그리고 YOLO26n과의 동일 이미지 속도 및 작업 경계 비교. [2026-06-27] WoG 조건 공간 세계 모델 입문 자료가 추가되었습니다. 시스템은 ByteDance Seed와 항대(港大)에서 제안한 World Guidance를 분해 설명합니다: 개요 다이어그램, 2단계 학습, Future Encoder, Q-Former query, condition alignment부터 SIMPLER/실기/인간 비디오 실험까지 포함하며, 이것이 구현 가능한 전통적인 세계 모델이 아니라 미래 관측을 동작 관련 잠재 조건(latent condition)으로 증류하여 VLA 동작 생성을 강화한다는 점에 중점을 둡니다. [2026-06-27] RAW-Dream 작업 비의존적 세계 모델 강화를 위한 VLA 입문 자료가 추가되었습니다. 마이크로소프트 등의 저자들이 발표한 Reinforcing VLAs in Task-Agnostic World Models를 정리하며, 이것이 pi0.5 기반이 아니라 OpenVLA-OFT + Wan 2.1 world model + Qwen3-VL reward + GRPO의 후속 학습 패러다임임을 명확히 합니다. 또한 DNV 기법, LIBERO/실기 평가 경계 및 지속적으로 추적 가능한 오픈 소스 저장소를 보충했습니다. [2026-06-02] RISE 자가 개선 로봇 전략 재현 튜토리얼이 추가되었습니다. 논문 방법론, 조합 세계 모델 파이프라인, OpenPI policy/value, LTX-Video dynamics model, RLinf imagination RL, Blackwell cu128 환경 적응, 공개 모델 자산 다운로드 검증 및 공식 다이어그램과 비디오 자료의 로컬 아카이브를 포괄합니다. [2026-06-02] 확산 수리 기초 및 문제 분석 입문이 추가되었습니다. 확산 모델에 필요한 수학적 기초를 설명하고, 간단한 코드를 사용하여 확산 모델을 소개함으로써, 복잡한 공식을 유도하지 않아도 VAE와 DDPM에 익숙해지게 하여 후속 세계 모델 학습의 기반을 다집니다. [2026-06-02] AGILE 휴머노이드 로봇 Loco-Manipulation Isaac Lab 재현 튜토리얼이 추가되었습니다. 공식 작업 경계, Isaac Sim 5.1 / Isaac Lab 2.3.2 복제, T1/G1 로컬 렌더링 비디오, pick-place 체크포인트가 저장소와 함께 공개되지 않았다는 설명, 평가 보고서 및 Sim2MuJoCo 링크를 포함합니다. [2026-06-02] HIMLoco 사족 보행 로봇 운동 제어 Isaac Lab 재현 튜토리얼이 추가되었습니다. 논문 방법론, 원본 저장소 파이프라인, Blackwell GPU 구형 스택 문제 해결, Isaac Lab 마이그레이션, 스모크 테스트 곡선 및 로컬 렌더링 비디오를 포괄합니다. [2026-06-02] Genesis World 1.0 전체 체험 및 로봇 시뮬레이션 파이프라인이 추가되었습니다. Genesis World 1.0 환경 설정, 로봇 시뮬레이션 프로세스 및 기능 체험 기록을 보충했습니다. [2026-05-31] ForgeCAD 공식 3D 프린터, 키보드 및 민첩 손(dexterous hand) 사례 재현이 추가되었습니다. KoStard/forgecad-public-kit의 3dprinter-gpt52codex 벤치마크와 정렬하며, 비디오 키보드와 공식 동작 가능한 민첩 손을 보충하고, 파라미터 렌더링 GIF 실행, 다중 시점 스크린샷, STEP/STL/3MF 내보내기 및 프린팅 검사 경계 설명을 실행 가능하게 했습니다. [2026-05-31] UniLab + MotrixSim 이종 로봇 RL 학습 재현이 추가되었습니다. 6GB 그래픽 카드에서의 state-based RL 학습, 리소스 사용 기록, MotrixSim 체크포인트 재생, 그리고 uv run --no-sync demo teaser의 PBR 렌더러 다중 시점 스크린샷 경험을 포괄합니다. [2026-05-14] LingBot-Map 비디오 스트리밍 3D 재구성 튜토리얼이 추가되었습니다. 공식 연속 캠퍼스 환경 스모크 테스트, 포인트 클라우드 렌더링 미리보기, 환경 설정, 코드 및 논문 데이터 흐름 설명, 그리고 경량 로컬 웹 데모를 포괄합니다. [2026-05-12] Build123d 코드 모델링과 Text-to-CAD 6DOF 교육용 로봇 팔 튜토리얼이 추가되었습니다. CAD-as-code, Codex CAD 스킬, STEP/STL/GLB 생성 및 미리보기를 보충했습니다. [2026-05-11] DiT4DiT-LIBERO 학습 및 평가 재현 튜토리얼이 추가되었습니다. 공식 방법 다이어그램, LIBERO 평가 스모크 테스트, libero_spatial
AI 자동 생성 콘텐츠
본 콘텐츠는 GitHub Trending Jupyter Notebook (weekly)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기