Satellite in orbit with Earth in background

미션 크리티컬 복구 시간 동안의 위성 이상 대응 작업을 위한 설명 가능한 인과 강화학습 (Explainable Causal Reinforcement Learning)

서론: 개인적인 발견

화요일 새벽 3시 47분, 나는 위성 이상 복구 방식에 있어 근본적인 결함을 처음으로 깨달았다. 나는 정지 궤도 통신 위성에서 발생하는 연쇄적인 전력 서브시스템(power subsystem) 고장을 보여주는 텔레메트리(telemetry) 대시보드를 응시하고 있었고, 배터리 전압이 임계값(critical thresholds)을 향해 떨어지는 동안 우리의 강화학습 (Reinforcement Learning, RL) 에이전트가 동일하고 효과 없는 복구 작업들을 반복하는 것을 지켜보고 있었다. 에이전트는 정상 조건에 대한 최적의 정책(policy)을 학습했지만, 이 이상 상황(anomaly) 동안에는 적용되지 않는 패턴들을 맹목적으로 따르고 있었다.

나를 충격에 빠뜨린 것은 단순히 실패 그 자체가 아니라, 바로 불투명성(opacity)이었다. 모델은 왜 그러한 행동을 선택했는지 우리에게 말해줄 수 없었고, 우리는 모델이 인과 관계(causal relationships)를 추론하고 있는 것인지 아니면 단순히 상관관계(correlations)를 쫓고 있는 것인지조차 알 수 없었다. 그날 밤, 나는 위성 운영을 위한 인과 추론 (causal inference), 설명 가능한 AI (Explainable AI, XAI), 그리고 강화학습 (Reinforcement Learning)의 교차점을 탐구하기 시작했다. 수개월간의 실험 끝에 탄생한 것은 내가 이제 **설명 가능한 인과 강화학습 (Explainable Causal Reinforcement Learning, XCRL)**이라 부르는 프레임워크로, 이는 매 초가 중요하고 모든 결정이 정당화되어야 하는 미션 크리티컬 복구 시간(mission-critical recovery windows)을 위해 특별히 설계되었다.

이 글에서는 위성 이상 대응을 위한 XCRL 시스템을 구축하고 테스트하며 배운 내용, 즉 알고리즘, 구현 방식, 그리고 시뮬레이션된 궤도 환경에서 이러한 시스템을 배포하며 얻은 값진 교훈들을 공유하고자 한다.

기술적 배경: 왜 위성에 인과 강화학습 (Causal RL)인가?

위성 운영을 위한 전통적인 강화학습 (Reinforcement Learning, RL)은 일반적으로 과거의 텔레메트리 (telemetry) 데이터를 통해 학습된 심층 Q-네트워크 (Deep Q-networks, DQN) 또는 정책 경사 (policy gradient) 방법을 사용한다. 이러한 접근 방식은 일상적인 운영에는 효과적이지만, 이상 상황(anomalies) 발생 시에는 다음과 같은 이유로 실패한다:

1. 분포 변화 (Distribution shift): 이상 상황(anomaly) 조건은 학습 데이터와 극적으로 다릅니다.
2. 비정상성 (Non-stationarity): 장애 발생 시 위성의 역학(dynamics)이 변화합니다.
3. 교란 변수 (Confounding variables): 텔레메트리(telemetry) 센서가 고장 나거나 잘못된 수치를 제공할 수 있습니다.
4. 설명 가능성 요구사항 (Explainability requirements): 미션 컨트롤러는 특정 행동이 왜 권장되는지 이해해야 합니다.

로보틱스 분야의 인과 추론(causal inference)을 연구하면서, 저는 **구조적 인과 모델 (Structural Causal Models, SCMs)**이 이러한 한계점들을 해결할 수 있다는 것을 깨달았습니다. 위성 하위 시스템 간의 인과 관계를 모델링함으로써 다음과 같은 작업이 가능해집니다:

• 특정 노드에 개입 (Intervene) 하여 복구 동작을 시뮬레이션
• "만약 다른 행동을 취했다면 어땠을까?"라고 묻는 인과적 반사실 추론 (Counterfactual reasoning)
• 분포 변화 중에도 지속되는 인과 메커니즘 (Causal mechanisms) 식별

핵심적인 통찰은 인과 발견 (Causal discovery) (텔레메트리로부터 인과 그래프를 학습)과 인과 강화학습 (Causal RL) (해당 그래프를 사용하여 탐색 및 정책 학습을 유도)을 결합하는 것이었습니다. 이를 통해 단순한 통계적 상관관계가 아닌 _인과 구조 (causal structure)_를 이해하는 에이전트를 생성할 수 있습니다.

구현: XCRL 프레임워크 구축

제가 개발한 XCRL 프레임워크의 핵심 구성 요소들을 살펴보겠습니다. 이 시스템은 세 가지 주요 모듈로 구성됩니다:

1. 인과 발견 엔진 (Causal Discovery Engine): 과거 텔레메트리로부터 인과 그래프를 학습합니다.
2. 인과 정책 네트워크 (Causal Policy Network): 행동 선택을 위해 그래프를 사용합니다.
3. 반사실 설명기 (Counterfactual Explainer): 사람이 읽을 수 있는 설명을 생성합니다.

텔레메트리를 통한 인과 발견

첫 번째 과제는 고차원 위성 텔레메트리로부터 인과 관계를 학습하는 것이었습니다. 저는 **비선형 독립성 검정 (Nonlinear independence testing)**과 결합된 **PC 알고리즘 (PC algorithm)**의 변형을 사용했습니다:

import numpy as np
from causallearn.search.ConstraintBased.PC import pc
from causallearn.utils.cit import chisq, gsq, kci
...

NASA DSCOVR 미션의 실제 위성 원격 측정 데이터(telemetry)를 사용하여 이 접근 방식을 실험하는 동안, 저는 **시간적 사전 정보 (temporal priors)**가 인과 발견(causal discovery)의 정확도를 극적으로 향상시킨다는 것을 발견했습니다. 이러한 정보가 없으면 알고리즘은 특히 열 제어(thermal control)와 같은 주기적인 서브시스템(subsystems)에 대해 상관관계(correlation)를 인과관계(causation)와 자주 혼동했습니다.

인과 강화학습 정책 (Causal Reinforcement Learning Policy)

핵심 혁신은 학습된 인과 그래프(causal graph)를 사용하여 행동 선택을 제한하는 **인과 정책 네트워크 (Causal Policy Network, CPN)**입니다:

import torch
import torch.nn as nn
import torch.nn.functional as F
...

이 아키텍처를 실험하며 얻은 흥미로운 발견 중 하나는 **인과적 어텐션 (causal attention)**이 표준 GNN 집계(aggregation)보다 성능이 현저히 뛰어났다는 점입니다. 어텐션 메커니즘을 통해 네트워크는 이상 징후가 발생했을 때 모든 센서를 동일하게 취급하는 대신, 인과적으로 가장 관련이 있는 서브시스템에 동적으로 집중할 수 있습니다.

반사실적 설명 생성 (Counterfactual Explanation Generation)

설명 가능성(explainability) 구성 요소는 "만약 ~라면 어떨까"라는 질문에 답하기 위해 **반사실적 추론 (counterfactual reasoning)**을 사용합니다:

import torch
from scipy.optimize import minimize

...

반사실적 설명 기술을 연구하면서, 저는 해석 가능성(interpretability)을 위해 희소 섭동 (sparse perturbations) (소수의 센서만 변경하는 것)이 매우 중요하다는 것을 배웠습니다. L1 정규화(L1 regularization)는 설명이 최소한의 인과 요인 집합을 식별하도록 보장하며, 이는 시간 제약이 있는 복구 작업 중에 미션 컨트롤러들에게 정확히 필요한 기능입니다.

실제 응용 사례: 위성 전력 시스템 복구

저는 현실적인 전력 서브시스템 역학을 가진 시뮬레이션된 **정지 궤도 통신 위성 (geostationary communications satellite)**에 이 프레임워크를 테스트했습니다. 시나리오는 다음과 같습니다: 식(eclipse) 시즌 동안 간헐적인 전력 손실을 유발하는 태양전지판 전개 이상 (solar array deployment anomaly).

XCRL 에이전트는 10,000시간의 정상 작동 데이터와 500개의 시뮬레이션된 이상 시나리오를 통해 학습되었습니다. 미션 크리티컬한 복구 시간(45분간의 식 기간) 동안, 시스템은 다음과 같은 작업이 필요했습니다:

1. 30초 이내에 이상 징후 탐지 (Detect the anomaly)
2. 근본 원인 식별 (부분 어레이 섀도잉 (partial array shadowing) vs. 배터리 성능 저하 (battery degradation))
3. 복구 작업 실행 (자세 조정 (adjust attitude), 부하 차단 (shed loads), 또는 배터리 충전 시작 (initiate battery recharge))
4. 지상 관제사에게 설명 제공

인과 에이전트 학습 (Training the Causal Agent)

class CausalSatelliteEnv:
    """인과 구조를 가진 위성 전력 서브시스템 환경."""

...

위성 시스템을 위한 인과 강화학습 (Causal RL)을 학습하면서, 복구 시간 동안 **보상 형성 (reward shaping)**이 매우 중요하다는 것을 관찰했습니다. 실패 시에만 보상을 주는 희소 보상 (sparse rewards) 방식은 복구 작업의 효과가 지연되어 나타나기 때문에 효과적이지 않습니다. 저는 인과 그래프 (causal graph)를 사용하여 시스템을 인과적 안정성 (causal stability)으로 유도하는 작업에 대해 중간 보상을 제공하는 **잠재 기반 보상 형성 (potential-based reward shaping)**을 구현했습니다.

도전 과제 및 해결책

도전 과제 1: 결측 데이터가 있는 상황에서의 인과 발견 (Causal Discovery)

위성 텔레메트리 (telemetry)는 센서 고장이나 통신 공백으로 인해 결측치 (missing values)가 빈번하게 발생합니다. 표준 인과 발견 알고리즘은 결측 데이터가 있을 경우 제대로 작동하지 않습니다.

해결책: 인과 그래프 자체를 사용하는 다중 대체 (multiple imputation) 방식을 구현했습니다:

def causal_imputation(data, causal_graph, max_iter=10):
    """
    인과 관계를 이용한 반복적 대체 (Iterative imputation).
...

도전 과제 2: 실시간 추론 제약 (Real-Time Inference Constraints)

위성 탑재 컴퓨터는 연산 능력이 제한적입니다. 제가 처음에 사용한 GNN 기반 정책은 추론당 200ms가 소요되었는데, 이는 1Hz 텔레메트리 속도에 비해 너무 느렸습니다.

해결책: 인과 정책을 GNN을 근사하면서도 5ms 미만으로 실행되는 **경량 의사결정 나무 앙상블 (lightweight decision tree ensemble)**로 증류 (distill)했습니다:

from sklearn.tree import DecisionTreeRegressor
...