암시적 인과 그래프 모델링을 통한 전이 가능한 지연 인식 강화학습 (Transferable Delay-Aware Reinforcement

무작위 지연 (Random delays)은 행동 (actions)과 후속 상태 피드백 (state feedback) 사이의 시간적 대응 관계를 약화시켜, 에이전트가 행동 효과의 실제 전파 과정을 식별하는 것을 어렵게 만듭니다. 교차 태스크 (cross-task) 시나리오에서는 태스크 목표와 보상 공식 (reward formulations)의 변화로 인해 이전에 습득한 태스크 지식의 재사용성이 더욱 감소합니다. 이 문제를 해결하기 위해, 본 논문은 암시적 인과 그래프 모델링 (implicit causal graph modeling)에 기반한 전이 가능한 지연 인식 강화학습 (transferable delay-aware reinforcement learning) 방법을 제안합니다. 제안된 방법은 필드-노드 인코더 (field-node encoder)를 사용하여 고차원 관측값 (high-dimensional observations)을 노드 수준의 의미를 가진 잠재 상태 (latent states)로 표현하며, 메시지 전달 메커니즘 (message-passing mechanism)을 채택하여 노드 간의 동적 인과 의존성 (dynamic causal dependencies)을 특징짓습니다. 이를 통해 전이 가능한 구조적 표현 (structured representations)과 환경 역학 (environment dynamics) 지식을 학습합니다. 이를 바탕으로, 잠재 공간 (latent space)에서 정책 (policies)을 최적화하기 위해 상상 기반 행동 학습 (imagination-driven behavior learning) 및 계획 (planning)을 통합하여 교차 태스크 지식 전이와 빠른 적응을 가능하게 합니다. 실험 결과에 따르면, 제안된 방법은 무작위 지연이 있는 DMC 연속 제어 (continuous control) 태스크에서 베이스라인 방법들보다 우수한 성능을 보였습니다. 교차 태스크 전이 실험은 학습된 구조적 표현과 역학 지식이 새로운 태스크로 효과적으로 전이될 수 있으며 정책 적응을 크게 가속화할 수 있음을 추가로 입증합니다.