제한된 시뮬레이션 훈련 환경에서 검색 및 구조 UAV 임무에 적용되는 규칙 기반 고수준 코칭: 목표 조건부 강화학습을 위한 계층적 의사결정

본 논문은 제한된 시뮬레이션 (simulation) 훈련 환경하의 검색 및 구조 (SAR) 시나리오를 동기화하여 무인 항공기 (UAV) 임무를 위한 계층적 의사결정 프레임워크를 제시합니다. 해당 프레임워크는 고정된 규칙 기반 고수준 조언자 (high-level advisor) 와 온라인 목표 조건부 (goal-conditioned) 저수준 강화학습 (RL) 컨트롤러를 결합합니다. 초기 적응력을 견고하게 검증하기 위해 엄격한 사전 학습 불가 (no-pretraining) 배포 체제를 또한 고려합니다. 고수준 조언자는 구조화된 작업 명세로부터 오프라인에서 정의되며 결정론적 규칙으로 컴파일됩니다. 이 조언자는 권장 행동, 회피 행동 및 체제 의존적 중재 가중치를 통해 해석 가능한 임무 및 안전 인식 (safety-aware) 지침을 제공합니다. 저수준 컨트롤러는 작업 정의된 밀집 보상 (dense rewards) 에서 온라인으로 학습하며, 규칙 유래 메타데이터로 보강된 모드 인식 우선순위 리플레이 (mode-aware prioritized replay) 메커니즘을 통해 경험을 재사용합니다. 우리는 배터리 인식 다중 목표 배송 및 장애물 풍부한 환경에서의 이동 표적 배송이라는 두 가지 작업에서 프레임워크를 평가했습니다. 두 작업 모두에서 제안된 방법은 충돌 종료 (collision terminations) 를 줄임으로써 주로 초기 안전성과 샘플 효율성을 개선하면서도 시나리오별 동역학에 온라인으로 적응하는 능력을 유지합니다.