강화학습을 이용한 쿼드로터의 적응형 외곽 루프 제어

요약

기존의 도메인 무작위화 방식이 가진 보수적인 정책 문제를 해결하기 위해, 잔차 역학 예측기(RDP)를 활용한 새로운 적응형 외곽 루프 제어 아키텍처를 제안합니다. 이 시스템은 비행 중 상태와 제어 이력을 통해 외력을 온라인으로 추정하며, 선형 보정 브리지를 통해 시뮬레이션과 실제 환경 간의 간극을 효율적으로 메웁니다. 실제 Crazyflie 마이크로 쿼드로터 실험을 통해 질량 변화 및 비대칭 하중 등 심각한 불확실성 상황에서도 뛰어난 궤적 추적 성능을 입증했습니다.

핵심 포인트

• 잔차 역학 예측기(RDP)를 도입하여 실제 외란 데이터를 대신해 온라인으로 외력과 모멘트를 추정함
• 데이터 효율적인 선형 보정 브리지와 온라인 추력 보정 메커니즘으로 sim-to-real 전이 성능 향상
• 질량 변화, 비대칭 페이로드, 동적 매달린 하중 등 복합적인 불확실성 환경에서도 정밀한 제어 가능
• 기존 도메인 무작위화(DR) 방식보다 동적 외란에 더 민첩하고 정밀하게 반응하는 정책 구현