본문으로 건너뛰기

© 2026 Molayo

arXiv논문2026. 06. 23. 14:13

SkyJEPA: 쿼드로터의 Zero-Shot Sim-to-Real 제어를 위한 장기 예측 월드 모델 (World Models) 학습

요약

SkyJEPA는 쿼드로터의 실시간 제어를 위해 잠재 공간에서 역학을 모델링하는 JEPA 스타일의 월드 모델을 제안합니다. 물리 기반 프로버를 통해 장기 예측 오차를 줄이고, 시뮬레이션에서 학습한 모델을 실제 환경에 즉시 적용하는 Zero-Shot Sim-to-Real 성능을 입증했습니다.

핵심 포인트

  • 잠재 역학 모델과 물리 기반 프로버를 결합하여 장기 예측 정확도 향상
  • 샘플링 기반 최적 제어와 결합하여 임베디드 하드웨어 실시간 제어 구현
  • 자동화된 데이터 생성 파이프라인을 통한 데이터 수집 비용 절감
  • Zero-Shot Sim-to-Real 전이를 통한 뛰어난 일반화 성능 확보

정확한 역학 모델 (dynamics models)은 로봇 시스템, 특히 불확실성 하에서 작동하는 민첩한 항공 기체의 정보에 기반한 의사결정에 매우 중요합니다. 신경망 역학 모델은 복잡한 비선형 효과를 포착하는 데 매력적이지만, 기존의 예측 방식은 자기회귀적 롤아웃 (autoregressive rollout) 메커니즘이 시간이 지남에 따라 오차를 증폭시키기 때문에 장기 예측 (long-horizon forecasting)에 어려움을 겪습니다. Joint Embedding Predictive Architectures (JEPAs)는 잠재 공간 (latent space)에서 역학을 모델링함으로써 설득력 있는 대안을 제시하지만, 로봇 내비게이션을 위한 기존의 JEPA 스타일 방식은 주로 운동학적 수준 (kinematic-level)의 계획에 초점을 맞추어 연구되었으며, 고주파 제어 (high-frequency control)에 대한 연구는 제한적이었습니다. 본 연구에서는 실시간 쿼드로터 제어를 위한 JEPA 스타일 모델을 소개합니다. 제안된 접근 방식은 잠재 역학 모델 (latent dynamics model)과 고정된 잠재 변수 (frozen latents)를 해석 가능한 상태 (interpretable state)로 매핑하는 새로운 물리 기반 프로버 (physics-inspired prober)를 결합하여, 물리적으로 근거 있는 장기 예측을 가능하게 합니다. 또한, 학습된 모델을 샘플링 기반 최적 제어 (sampling-based optimal control) 솔루션과 결합하여 임베디드 하드웨어에서의 실시간 제어를 위한 예측 능력을 활용합니다. 마지막으로, 비용이 많이 들고 위험한 실제 데이터 수집에 대한 의존도를 줄이기 위해 자동화된 데이터셋 생성을 위한 구조화된 파이프라인을 개발합니다. 광범위한 오픈 루프 (open-loop) 및 실외 폐루프 (closed-loop) 실험을 통해 정확한 예측, 강력한 Zero-Shot Sim-to-Real 전이, 그리고 다양한 작동 조건에서의 뛰어난 일반화 성능을 입증합니다.

AI 자동 생성 콘텐츠

본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.

원문 바로가기
0

댓글

0