수중 자율 탐색을 위한 태스크별 서브네트워크 발견 (RL)

자율 수중 차량(AUV)은 역동하고 불확실하며 감지 능력이 제한된 환경에서 여러 작업을 적응적으로 수행하고, 그 과정이 설명 가능해야 하는 복합적인 요구사항에 직면해 있습니다. 이러한 조건들은 기존의 고전적 제어기(classical controllers)로는 충분히 해결하기 어려운 문제입니다. 따라서 장기간 신뢰성 있는 모니터링을 위해서는 강건하고 일반화 가능하며 본질적으로 해석 가능한(inherently interpretable) 제어 정책이 필수적입니다.

강화학습 (Reinforcement Learning, RL), 특히 다중 작업 강화학습 (Multi-task RL)은 공유 표현(shared representations)을 활용하여 여러 태스크와 환경에 걸쳐 효율적인 적응을 가능하게 함으로써 이러한 한계를 극복할 잠재력을 보여주고 있습니다. 하지만 현재까지의 RL 정책들은 시뮬레이션이나 통제된 실험에서는 유망한 결과를 보였음에도 불구하고, 여전히 그 내부 구조가 불투명하고 에이전트의 의사결정 과정을 깊이 있게 이해하기 어렵다는 한계(opacity)를 안고 있습니다. 이는 투명성, 신뢰성, 안전성 측면에서 실제 환경 배치를 가로막는 주요 장애물입니다.

본 연구는 이러한 '블랙박스' 문제를 해결하고 내부 구조의 특수화를 이해하고자 합니다. 구체적으로 HoloOcean 시뮬레이터 환경에서 사전 학습된 다중 작업 RL 네트워크를 분석하여, 서로 다른 종(species)을 탐색하는 데 사용되는 태스크별 서브네트워크를 식별하고 비교했습니다.

분석 결과, 관련성이 있는 다중 작업 강화학습 설정 하에서도 네트워크가 태스크 간의 차이를 구분하는 데 사용하는 가중치(weights)는 전체의 약 1.5%에 불과하다는 놀라운 사실을 발견했습니다. 더욱 주목할 점은, 이 작은 비율의 가중치 중 약 85%가 입력 계층의 컨텍스트 변수 노드에서 다음 은닉층으로 연결되는 부분에 집중되어 있다는 것입니다. 이는 다중 작업 환경에서 '컨텍스트 변수(context variables)'가 의사결정 과정에서 매우 중요한 역할을 수행함을 시사합니다.

이러한 분석 접근 방식은 공유된 네트워크 구성 요소와 태스크 특화된 서브네트워크를 명확히 분리하여 이해할 수 있게 합니다. 이는 궁극적으로 자율 수중 모니터링 시스템을 위한 모델 편집(model editing), 전이 학습(transfer learning), 그리고 지속적 학습(continual learning)과 같은 고급 기법들을 효율적으로 적용하는 데 중요한 통찰력을 제공합니다.