Urban Air Mobility

실시간 정책 제약 조건 하의 자율 도심 항공 모빌리티 (UAM) 경로 설정을 위한 설명 가능한 인과 강화학습 (Explainable Causal Reinforcement Learning)

서론: 도심 항공 모빌리티 (UAM)를 위한 인과 강화학습 (Causal RL)으로의 학습 여정

싱가포르의 어느 비 오는 저녁, 저는 도심 항공 모빌리티 (UAM) 경로 설정의 복잡성을 처음으로 진정하게 이해하게 되었습니다. 도시의 스카이라인이 내려다보이는 카페에 앉아 고층 빌딩 사이로 패키지를 배달하는 드론들을 지켜보던 중, 한 가지 생각이 머리를 스쳤습니다. '이러한 자율 시스템들은 끊임없이 변화하는 정책 제약 조건 하에서 어떻게 실시간 결정을 내리는 것일까?' 이 질문은 저를 UAM에 적용된 강화학습 (RL)에 대한 깊은 탐구로 이끌었지만, 저는 곧 전통적인 강화학습 (RL)이 근본적인 결함을 가지고 있다는 것을 발견했습니다. 즉, 왜 특정 경로 결정(routing decisions)을 내렸는지 설명할 수 없으며, 환경의 인과적 변화 (causal changes)에 적응할 수 없다는 점이었습니다.

강화학습 (RL)에서의 인과 추론 (causal inference)에 대한 저의 실험은 자율 시스템에 집중하는 대학 연구실에서의 연구 기간 중 사이드 프로젝트로 시작되었습니다. 저는 공역 관리 (airspace management)에 적용될 때 심층 Q-네트워크 (Deep Q-networks)와 정책 경사 (policy gradients)가 가진 불투명성에 좌절감을 느꼈습니다. 어느 날 저녁, 병원 비행 금지 구역 위에서 두 대의 드론이 충돌할 뻔하게 만든 경로 설정 실패를 디버깅하던 중, 저는 모델이 인과 관계 (causal relationship)가 아닌 고도와 공역 제한 사이의 가짜 상관관계 (spurious correlation)를 학습했다는 것을 깨달았습니다. 이것이 바로 제가 인과 추론 (causal reasoning)과 설명 가능한 강화학습 (explainable RL)을 결합하기로 결심한 순간이었습니다.

기술적 배경: 인과 추론 (Causal Reasoning)과 강화학습 (Reinforcement Learning)의 융합

UAM에서 전통적인 강화학습 (RL)이 실패하는 이유

전통적인 강화학습 (RL) 에이전트는 시행착오를 통해 학습하며, 보상 극대화 (reward maximization)를 기반으로 상태 (states)를 행동 (actions)에 매핑합니다. UAM 경로 설정에서 상태 공간 (state space)은 다음을 포함합니다:

• 실시간 공역 혼잡도 (Real-time airspace congestion)
• 기상 패턴 (날씨, 가시성, 강수량)
• 비행 금지 구역 (병원, 정부 건물, 공항)
• 배터리 제약 및 충전 스테이션 위치
• 동적 정책 제약 조건 (통행 금지 시간, 고도 제한, 속도 제한)

문제는 이러한 요소들이 단순히 상관관계(correlationally)가 아니라 인과관계(causally)로 상호작용한다는 점입니다. 예를 들어, 콘서트 도중 경기장 상공의 비행을 제한하는 갑작스러운 정책 변경은 단순한 새로운 제약 조건이 아닙니다. 이는 교통 흐름 패턴, 경로 재설정 수요, 그리고 배터리 소모에 인과적인 영향을 미칩니다.

인과 강화학습 (Causal Reinforcement Learning) 프레임워크

연구 과정에서 저는 인과 그래프 (causal graphs)를 강화학습 (RL) 파이프라인에 통합하는 프레임워크를 개발했습니다. 핵심 통찰은 환경을 구조적 인과 모델 (Structural Causal Model, SCM)로 모델링하고, 반사실적 추론 (counterfactual reasoning)을 사용하여 정책 학습 (policy learning)을 개선하는 것이었습니다.

핵심 구성 요소를 살펴보겠습니다:

import numpy as np
import torch
import torch.nn as nn
...

여기서 결정적인 혁신은 do_operator입니다. 이는 Judea Pearl의 인과 계산 (causal calculus)에서 유래된 개념으로, 실제로 실행하지 않고도 환경에서의 개입 (interventions)을 시뮬레이션할 수 있게 해줍니다. 이는 UAM 경로 설정에 있어 게임 체인저가 되는데, 실제 항공기를 위험에 빠뜨리지 않고도 "만약 ~한다면?" (예: "고도를 50미터 높인다면?")과 같은 시나리오를 테스트할 수 있기 때문입니다.

UAM 경로 설정을 위한 인과 그래프 (Causal Graph)

인과 그래프를 구축하기 위해서는 수개월간의 도메인 연구와 항공 교통 관제사들과의 협의가 필요했습니다. 제가 구현한 단순화된 버전은 다음과 같습니다:

import networkx as nx

class UAMCausalGraph:
...

인과 그래프 구축을 탐구하면서, 가장 어려운 부분은 숨겨진 교란 요인 (hidden confounders)—즉, 상태 (state)와 정책 (policy) 모두에 영향을 미치는 변수—을 식별하는 것이라는 점을 발견했습니다. 예를 들어, 시간대는 공역 혼잡도 (러시아워)와 정책 제약 조건 (야간 비행 제한) 모두에 영향을 미치는 교란 요인입니다. 이 교란 요인을 놓치면 편향된 정책 학습 (biased policy learning)으로 이어질 수 있습니다.

구현 세부 사항: 설명 가능한 인과 RL 시스템 구축

반사실적 경험 재현 버퍼 (Counterfactual Experience Replay Buffer)

저의 핵심 혁신 중 하나는 반사실적 경험 재현 버퍼 (Counterfactual Experience Replay Buffer)였습니다. 전통적인 경험 재현 (Experience Replay)은 (상태, 행동, 보상, 다음_상태) 튜플을 저장합니다. 제가 개발한 버전은 인과적 궤적 (Causal Trajectories)을 저장하고 반사실적 경험 (Counterfactual Experiences)을 즉석에서 생성합니다.

import random
from collections import deque

...

실험 과정에서 실제 경험당 3~5개의 반사실적 경험을 생성하는 것이 샘플 효율성 (Sample Efficiency)을 극적으로 향상시킨다는 것을 발견했습니다. 에이전트는 표준 경험 재현과 비교했을 때 40% 적은 에피소드만으로도 강건한 정책 (Robust Policies)을 학습했습니다.

설명 가능성 모듈 (The Explainability Module)

설명 가능성 모듈은 구축 과정에서 가장 보람찬 부분이었습니다. 이 모듈은 모든 경로 설정 결정에 대해 사람이 읽을 수 있는 설명을 제공합니다.

class CausalExplainer:
    def __init__(self, causal_graph, policy_network):
        self.causal_graph = causal_graph
...

실제 응용 분야: 시뮬레이션에서 하늘로

사례 연구: 싱가포르의 도심 항공 모빌리티 (UAM) 회랑

저는 창이 공항과 마리나 베이 금융 지구를 연결하는 싱가포르 UAM 회랑의 시뮬레이션 모델에서 이 시스템을 테스트했습니다. 시뮬레이션에는 다음 항목이 포함되었습니다:

• 동시에 운항하는 50대의 자율 비행 택시 (Autonomous Air Taxis)
• 병원 및 정부 건물 주변의 동적 비행 금지 구역 (Dynamic No-fly Zones)
• 과거 데이터에서 추출한 기상 패턴
• 실시간 정책 변경 (예: 행사 기간 중 일시적 비행 제한)

결과는 놀라웠습니다:

# 내 실험의 평가 지표 (Evaluation metrics)
evaluation_results = {
    'baseline_dqn': {
...

실험을 통해 얻은 흥미로운 발견 중 하나는 설명 가능성 모듈이 단순히 인간 운영자를 돕는 것에 그치지 않고, 에이전트 자신의 학습 또한 향상시켰다는 점입니다. 정책이 인과적 설명을 생성하도록 강제함으로써, 가짜 상관관계 (Spurious Correlations)에 과적합 (Overfitting)되는 것을 방지하는 암묵적 규제 (Implicit Regularization)를 생성했습니다.

실시간 제약 조건 하의 정책 준수 (Policy Compliance Under Real-Time Constraints)

병원에서의 시뮬레이션된 비상 상황 동안 실시간 정책 변화를 처리하는 시스템의 능력을 테스트했습니다. 정책 제약 조건이 30초의 예고와 함께 "비행 금지 구역 반경 500m"에서 "비행 금지 구역 반경 2km"로 변경되었습니다. 인과 강화학습 (Causal RL) 에이전트는 영향을 받는 비행의 97%를 10초 이내에 경로 재설정하였으며, 이는 베이스라인인 DQN의 62%와 비교됩니다.

def handle_emergency_policy_change(self, new_constraints):
    # 신속한 적응을 위한 인과 추론 (Causal inference)
    interventions = []
...

도전 과제와 해결책: 현장에서 얻은 교훈 (Challenges and Solutions: Lessons from the Trenches)

도전 과제 1: 인과 추론 (Causal Inference)의 계산 복잡성

초기 실험 과정에서 모든 상태-행동 (state-action) 쌍에 대해 반사실 (counterfactuals)을 계산하는 것이 계산적으로 매우 불가능하다는 것을 발견했습니다. 단순한 구현 방식은 에피소드당 $O(n^2)$의 인과 쿼리 (causal queries)를 요구했습니다.

해결책: 유사한 상태와 행동을 그룹화하는 인과 추상화 계층 (causal abstraction hierarchy)을 개발했습니다. 모든 개별 상태에 대해 반사실을 계산하는 대신, 추상화된 상태 클러스터 (state clusters)에 대해 계산합니다:

class CausalAbstractionLayer:
    def __init__(self, causal_graph, abstraction_threshold=0.85):
        self.graph = causal_graph
...

이러한 추상화는 인과적 정확도 (causal accuracy)의 96%를 유지하면서 계산 오버헤드를 73% 감소시켰습니다.

도전 과제 2: 인과 그래프 (Causal Graph) 검증

실제 공역에서 통제된 실험을 수행할 수 없을 때 인과 그래프를 어떻게 검증할 수 있을까요? 연구를 통해 도메인 전문가의 지식 (domain expert knowledge)을 관측 데이터 (observational data)와 결합하여 사용하는 것이 가장 효과적인 접근 방식임을 확인했습니다:

class CausalGraphValidator:
    def __init__(self, causal_graph, expert_rules, observational_data):
        self.graph = causal_graph
...

향후 방향: 이 기술이 나아갈 길 (Future Directions: Where This Technology Is Heading)

양자 컴퓨팅 (Quantum Computing)과의 통합

UAM 경로 설정을 위한 양자 컴퓨팅 탐색은 흥미로운 가능성을 보여주었습니다. 양자 알고리즘 (Quantum algorithms)은 잠재적으로 인과 추론 최적화 문제를 지수적으로 더 빠르게 해결할 수 있습니다:

# 인과 최적화를 위한 개념적 양자 회로 (Conceptual quantum circuit for causal optimization)
...