Diffusion을 이용한 휴머노이드 정책의 신경 가중치 모델링 및 이해

원문 발행 2026. 10. 15. 02:59원문 언어 영어AI 한국어 번역arXiv cs.LG (Machine Learning) 원문 보기

요약

본 연구는 고성능 휴머노이드 제어 네트워크의 가중치 분포를 생성적으로 모델링하는 방법을 제시합니다. 선형 오토인코더와 Diffusion Transformer를 결합한 잠재 확산 프레임워크를 사용하여, 로봇 동작을 수행할 수 있는 배포 가능한 네트워크를 성공적으로 생성했습니다. 또한, 학습된 가중치 공간에서 로봇의 운동학적 사전 지식을 식별하여 휴머노이드 제어에 대한 깊은 이해를 제공합니다.

핵심 포인트

잠재 확산 프레임워크로 휴머노이드 제어 네트워크 가중치를 모델링함.
Unitree G1을 대상으로 걷기, 춤추기 등 다양한 동작 생성이 가능함을 입증.
가중치 공간에서 로봇의 운동학적 사전 지식을 발견하여 구조적 원리를 제시함.
운동학적 사전 지식은 RL과 IL 모두에서 나타나 공통적인 구현 지식을 반영함.

로봇 학습 분야의 최근 발전은 휴머노이드 제어에 급격한 발전을 가져왔으며, 실제 환경에서 점점 더 민첩한 동작을 가능하게 했습니다. 하지만 휴머노이드 제어 네트워크는 일반적으로 기존 훈련 절차를 통해 얻어지며, 그 가중치 분포를 직접 모델링하고 가중치 공간에서 기능적인 네트워크를 생성하는 데에는 상대적으로 적은 관심이 기울여졌습니다. 본 연구에서는 고성능의 휴머노이드 제어 네트워크가 그 가중치를 통해 생성적으로 모델링될 수 있는지 조사합니다. 우리는 선형 오토인코더(linear autoencoder)와 Diffusion Transformer를 결합한 잠재 확산 프레임워크(latent diffusion framework)를 채택했습니다. 이 오토인코더는 액터 네트워크 매개변수를 압축하여 간결한 잠재 공간으로 만들고, Diffusion Transformer는 이러한 잠재값들의 분포를 모델링합니다. Unitree G1 로봇을 위해 강화학습(RL)으로 수집된 네트워크로 훈련된 우리의 접근 방식은 걷기, 춤추기, 스핀 킥 등 다양한 동작을 실제 환경에서 수행하는 배포 가능한 네트워크를 생성합니다. 단순히 생성을 넘어, 우리는 휴머노이드 제어 네트워크가 포착하는 구조를 더 잘 이해하기 위해 학습된 가중치 공간을 추가로 연구했습니다. 우리는 첫 번째 레이어 가중치에서 로봇의 운동학적 사전 지식(kinematic prior)을 일관되게 반영하는 구조적 원리를 식별했습니다. 주목할 만한 점은, 이 운동학적 사전 지식이 강화학습(RL)과 모방 학습(IL) 훈련 모두에서 나타난다는 것으로, 이는 특정 최적화 과정에 국한된 것이 아니라 휴머노이드 구현과 관련된 공통 지식을 반영할 수 있음을 시사합니다. 종합적으로, 이러한 결과는 휴머노이드 네트워크 가중치 공간에서의 생성 모델링의 실현 가능성을 입증하는 동시에, 그 학습된 가중치들이 인코딩하는 정보에 대한 초기 통찰력을 제공합니다. 추가적인 결과는 저희 프로젝트 웹사이트 https://humanoid-weight-diffusion.github.io/에서 확인할 수 있습니다.

AI 자동 생성 콘텐츠

원문 바로가기

Diffusion을 이용한 휴머노이드 정책의 신경 가중치 모델링 및 이해

요약

핵심 포인트

댓글