불확실한 비선형 시스템의 참조 추적을 위한 신속한 적응을 위한 메타 학습 (Meta-Learning)

본 논문에서는 불확실한 비선형 시스템 (Uncertain Nonlinear Systems)의 참조 추적 (Reference Tracking) 문제를 다룹니다. 대상 시스템 (Target System, 즉 관심 대상이 되는 시스템)으로부터 데이터를 수집하는 것은 종종 어렵기 때문에, 우리의 목표는 제한된 대상 시스템 데이터를 사용하여 최적의 제어기 (Controller)를 설계하는 것입니다. 메타 학습 (Meta-learning)은 소스 시스템 (Source Systems, 대상 시스템과 구조적 유사성을 공유하는 시스템)의 오프라인 데이터를 활용하여 학습을 가속화하고 제어 성능을 향상시킴으로써 유망한 패러다임을 제공합니다. 이러한 아이디어에 착안하여, 우리는 암시적 모델 불가지론적 메타 학습 (Implicit Model-Agnostic Meta-Learning, iMAML) 알고리즘을 제어 설정에 맞게 조정하는 메타 학습 기반 제어 프레임워크를 제안합니다. 이 프레임워크는 두 단계로 작동합니다: 유사한 시스템 간의 공유된 시스템 동역학 (System Dynamics)을 포착하기 위해 소스 데이터로부터 집계된 표현 (Aggregated Representation)을 학습하는 (오프라인) 메타 학습 (Meta-training) 단계와, 단 몇 개의 데이터 샘플과 제한된 적응 단계만을 사용하여 대상 시스템에서 이 표현을 미세 조정 (Fine-tuning)하는 (온라인) 메타 적응 (Meta-adaptation) 단계입니다. 우리는 이 프레임워크를 이중 수준 최적화 (Bi-level Optimization) 문제로 공식화하고, 저장 복잡도를 줄이고 근사치를 최소화한 효율적인 솔루션을 제공합니다. 제안된 프레임워크는 일반적이어서 다양한 학습 알고리즘을 통합할 수 있습니다. 이러한 유연성을 입증하기 위해, 우리는 각각 신경망 상태 공간 모델 (Neural State-Space Model)과 심층 Q-네트워크 (Deep Q-Network, DQN)를 기반으로 우리 프레임워크에 통합될 수 있는 두 가지 구체적인 학습 알고리즘을 제안합니다. 이 접근 방식들의 주요 차이점은 명시적인 시스템 식별 (System Identification)이 필요한지 여부입니다. 수치 시뮬레이션과 하드웨어 실험을 통해 제안된 방법들이 제어 성능을 향상시키며 베이스라인 접근 방식들을 일관되게 능가함을 입증합니다.