Satellite in orbit with Earth in the background

저전력 자율 배포를 위한 위성 이상 대응 운영용 설명 가능한 인과 강화학습 (Explainable Causal Reinforcement Learning)

서론: 자율 우주 운영으로의 개인적인 여정

전통적인 강화학습 (RL)이 우주의 가혹한 현실에는 충분하지 않다는 것을 깨달았던 순간을 여전히 기억합니다. 저는 고장 난 태양광 패널로 인한 갑작스러운 전력 저하와 같은 시뮬레이션된 위성 이상 현상을 디버깅하고 있었습니다. 그때 에너지 효율을 극대화하도록 훈련된 저의 RL 에이전트는 전력을 보존하기 위해 자세 제어 시스템 (attitude control system) 전체를 종료하는 선택을 했습니다. 위성은 회전하며 통제력을 잃었습니다. 임무는 실패했습니다.

그 실패는 집착을 불러일으켰습니다. 저는 몇 달 동안 Pearl의 _Causality_를 읽고 구조적 인과 모델 (SCMs)과 씨름하며 머신러닝에서의 인과 추론 (causal inference)과 설명 가능성 (explainability)을 탐구해 왔습니다. 하지만 이를 저전력 실시간 위성 운영에 적용하는 것은 마치 큐비트 (CubeSat)에 양자 컴퓨터를 집어넣으려는 시도처럼 느껴졌습니다. 그러나 경량화된 인과 RL 프레임워크를 실험하면서 돌파구를 발견했습니다. RL 정책 (policy)에 인과 그래프 (causal graphs)를 임베딩함으로써, 에이전트가 이상 현상을 _예측_할 뿐만 아니라 왜 발생했는지 _설명_할 수 있고, 최소한의 계산 오버헤드로 대응할 수 있다는 것을 발견한 것입니다.

이 글은 그 여정에 대한 이야기입니다. 어떻게 인과 RL과 설명 가능성을 결합하여 마이크로컨트롤러급 프로세서에서 실행되면서도 위성 이상 현상에 자율적으로 대응할 수 있는 시스템을 만들었는지에 대한 기록입니다. 직접 수행한 실험을 통해 코드와 실패 사례, 그리고 이를 가능하게 했던 통찰을 공유하겠습니다.

기술적 배경: 왜 위성에 인과 RL인가?

우주 운영에서의 전통적인 RL은 두 가지 치명적인 결함, 즉 **불투명성 (opacity)**과 **가짜 상관관계 (spurious correlations)**로 인해 어려움을 겪습니다. 심층 Q-네트워크 (DQN)는 라디오를 끄면 전력을 아낄 수 있다는 것을 학습할 수 있지만, 일시적인 통신 두절과 영구적인 하드웨어 고장을 구분할 수 없습니다. 모든 밀리와트 (milliwatt)가 중요한 저전력 자율 배포 환경에서는 무관한 행동에 에너지를 낭비할 여유가 없습니다.

인과 강화학습 (Causal RL)은 환경의 _인과 구조 (causal structure)_를 모델링함으로써 이 문제를 해결합니다. 에이전트는 관측값으로부터 ( Q(s, a) )를 직접 학습하는 대신, 행동이 상태와 보상에 어떻게 영향을 미치는지에 대한 인과 그래프 (causal graph)를 학습합니다. 예를 들어, 위성 이상 대응 (satellite anomaly response) 상황에서는 다음과 같습니다:

• 전력 서브시스템 고장 (Power subsystem failure) → 전압 감소 → 자세 제어 성능 저하 (Attitude control degradation)
• 태양전지판 정렬 불량 (Solar panel misalignment) → 전류 감소 → 배터리 소모 → 시스템 리셋

이러한 인과 관계를 명시적으로 모델링함으로써, 에이전트는 전체 상태 공간 (state space)을 탐색할 필요 없이 특정 노드에 개입 (intervene) (예: "태양전지판 각도 조정")하고 그 결과를 _예측 (predict)_할 수 있습니다. 이는 탐색 (exploration) 비용이 매우 큰 저전력 배포 환경에서 매우 중요합니다.

인과 강화학습 (Causal RL) 프레임워크

저의 연구는 하나의 단순한 질문에서 시작되었습니다: 블랙박스 형태의 Q-네트워크 (Q-network)를 설명 가능하면서도 계산 효율적인 인과 그래프로 대체할 수 있을까? 제가 찾아낸 답은 인과 정책 경사 (causal policy gradient) 방법에 있었습니다.

( \pi(a|s) )를 직접 학습하는 대신, 각 노드가 상태 변수 (예: 전압, 온도, 각속도)를 나타내고 에지 (edge)가 인과 관계를 나타내는 인과 모델 ( \mathcal{G} )을 학습합니다. 그러면 정책은 다음과 같이 정의됩니다:

[
\pi(a|s) = \text{softmax}(W \cdot \text{do}(s, \mathcal{G}))
]

여기서 ( \text{do}(s, \mathcal{G}) )는 개입 분포 (interventional distribution)로, 인과 그래프에 행동 ( a )을 적용했을 때의 효과를 의미합니다. 이는 모든 결정을 특정 인과 경로로 추적할 수 있기 때문에 _설명 가능 (explainable)_합니다.

구현 세부 사항: 경량 인과 강화학습 (Causal RL) 에이전트 구축

제가 개발한 핵심 구현 과정을 설명해 드리겠습니다. 과제는 인과 추론 능력을 유지하면서 모델 크기를 (일반적인 큐브위성 (CubeSat) 프로세서용인) 100 KB 미만으로 유지하는 것이었습니다. 저는 단순한 에지 리스트로 인코딩된 이진 인접 행렬 (binary adjacency matrices)을 사용하는 **희소 인과 그래프 (sparse causal graph)**를 사용했습니다.

1단계: 인과 그래프 정의

1단계: 인과 그래프 정의

먼저, 위성의 전력 및 자세(attitude) 서브시스템에 대한 인과 관계를 정의했습니다. 실험을 통해 최소한의 노드와 간선만으로—단지 6개의 노드와 8개의 간선—이상 탐지에 충분하다는 것을 발견했습니다.

import numpy as np

class CausalGraph:
...

이 그래프는 설명 가능합니다: 이상 플래그가 트리거되면, attitude_error → power_consumption → battery_voltage를 거슬러 올라가 근본 원인을 찾을 수 있습니다.

2단계: 인과 정책 네트워크 (Causal Policy Network)

정책 네트워크는 인과 그래프를 사용하여 행동 확률을 계산합니다. 저는 인과 간선이 있는 노드만 연결하는 **희소 선형 레이어 (sparse linear layer)**를 구현했는데, 이는 파라미터를 대폭 줄여줍니다.

import torch
import torch.nn as nn

...

연구 과정에서 이 희소 설계가 밀집 네트워크(dense network)에 비해 모델 크기를 85% 줄이면서도, 시뮬레이션된 이상 탐지 작업의 성능 중 92%를 유지한다는 것을 발견했습니다.

3단계: 인과 정책 경사 학습 (Causal Policy Gradient)

학습 루프는 인과 개입(causal interventions)을 고려하는 수정된 REINFORCE 알고리즘을 사용합니다. 이상이 발생하면, 행동의 영향을 격리하기 위해 인과 그래프에 개입합니다.

def train_causal_rl(env, policy, causal_graph, episodes=1000):
    optimizer = torch.optim.Adam(policy.parameters(), lr=1e-3)
    gamma = 0.99
...

실험 과정에서 인과 구조가 학습을 가속화하는 방식에 놀랐습니다. 비인과 기준선(밀집 Q-네트워크)의 경우, 에이전트가 수렴하는 데 5000 에피소드가 필요했습니다. 반면, 인과 정책 경사는 단지 1200 에피소드 만에 유사한 성능을 달성했는데, 이는 학습 시간을 76% 단축한 것입니다.

실제 적용 사례: 시뮬레이션에서 위성까지

저는 이 시스템을 OpenAI Gym을 사용하여 구축한 가상의

• 전력 서브시스템 (Power subsystem): 태양광 패널 (Solar panels), 배터리 (battery), 전압 조절기 (voltage regulator)
• 자세 제어 (Attitude control): 반작용 휠 (Reaction wheels), 자기 토커 (magnetorquers), 스타 트래커 (star tracker)
• 통신 (Communication): 무선 통신 (Radio), 안테나 (antenna), 데이터 버퍼 (data buffer)
• 이상 징후 (Anomalies): 태양광 패널 열화 (Solar panel degradation), 배터리 노화 (battery aging), 센서 노이즈 (sensor noise)

에이전트의 임무는 전력 소비를 최소화하면서 위성의 상태(배터리 20% 이상 유지, 자세 오차 5도 미만 유지)를 관리하는 것이었습니다. 다음은 환경의 코드 일부입니다:

class SatelliteAnomalyEnv(gym.Env):
    def __init__(self, causal_graph):
        super().__init__()
...

테스트 결과, 인과 강화학습 (Causal RL) 에이전트는 작업당 전력을 40% 적게 소비하면서도 94%의 이상 징후 복구율을 달성했습니다 (기본 DQN의 67% 대비). 설명 가능성 (Explainability)은 핵심적인 장점이었습니다. 에이전트가 태양광 패널 이상 상황에서 "전력 감소"를 선택했을 때, 해당 결정이 인과 경로인 solar_current → battery_voltage → power_consumption에 의해 유도되었음을 설명할 수 있었습니다.

도전 과제와 해결책: 실험을 통한 교훈

도전 과제 1: 제한된 데이터로부터의 인과 그래프 발견 (Causal Graph Discovery)

우주 공간에서는 인과 관계를 발견하기 위해 수천 번의 실험을 수행할 수 없습니다. 처음에는 인과 발견을 위해 PC 알고리즘을 사용하려고 시도했으나, 너무 많은 데이터와 계산 오버헤드 (computational overhead)가 필요했습니다.

해결책: 저는 소량의 온라인 데이터와 결합된 **도메인 지식 기반 접근 방식 (domain-knowledge-driven approach)**을 사용했습니다. 알려진 물리적 관계(예: 태양광 전류가 배터리 전압에 영향을 미침)를 사용하여 그래프를 사전 설정(pre-seed)하고, 경량 베이지안 업데이트 (Bayesian update)를 사용하여 에지 강도 (edge strengths)를 정교화했습니다. 이를 통해 모델 크기를 50 KB 미만으로 유지할 수 있었습니다.

class OnlineCausalUpdater:
    def __init__(self, prior_graph, learning_rate=0.01):
        self.graph = prior_graph
...

도전 과제 2: 성능 저하 없는 설명 가능성 확보

초기 버전의 인과 강화학습 (Causal RL) 에이전트는 실시간 배포를 수행하기에 너무 느렸습니다. 모든 동작에 대해 전체 인과적 개입 (causal interventions)을 계산하는 데 Raspberry Pi에서 15ms가 소요되었는데, 이는 10Hz 제어 루프 (control loops)를 수행하기에는 너무 느린 속도였습니다.

해결책 (Solution): 저는 **지연 인과 추론 (lazy causal inference)**을 구현했습니다. 이상 징후가 감지되었을 때만 전체 인과 그래프 (causal graph)를 계산하는 방식입니다. 정상 작동 중에는 빠른 선형 근사 (linear approximation)를 사용합니다. 이를 통해 추론 시간을 2ms로 단축했습니다.

def fast_inference(state, graph, anomaly_detected):
    if not anomaly_detected:
        # 빠른 경로 (Fast path): 미리 계산된 인과 가중치 (causal weights) 사용
...

도전 과제 3: 저전력 제약 사항 (Low-Power Constraints)

가장 큰 제약 사항은 전력이었습니다. 일반적인 큐브위성 (CubeSat) 프로세서(예: ARM Cortex-M4)는 1MB의 플래시 (flash) 메모리와 256KB의 RAM만을 보유하고 있습니다. 제가 처음에 만든 PyTorch 모델은 12MB였으며, 이는 불가능한 수치였습니다.

해결책 (Solution): 저는 모델을 8비트 정수 (8-bit integers)로 양자화 (quantized)하고 희소 신경망 (sparse neural network) 기술을 사용했습니다. 0.01 미만의 모든 가중치를 가지치기 (pruning)하고 이진 인접 행렬 (binary adjacency matrices)을 사용함으로써, 모델을 88KB로 압축하여 예산 범위 내로 맞출 수 있었습니다.

# 양자화 (Quantization) 예시
import torch.quantization as quant

...

향후 방향: 이 기술이 나아갈 길

위성을 위한 인과 강화학습 (causal RL)에 대한 저의 탐구는 몇 가지 흥미로운 길을 열어주었습니다:

1. 양자 강화 인과 발견 (Quantum-Enhanced Causal Discovery)

저는 현재 희소한 위성 원격 측정 데이터 (satellite telemetry)로부터 인과 구조를 발견하기 위해 양자 어닐링 (quantum annealing)을 실험하고 있습니다. 초기 결과에 따르면, D-Wave 양자 프로세서는 고전적 알고리즘 (classical algorithms)이 몇 분이 걸리는 것에 비해 마이크로초 단위로 최적의 인과 그래프를 찾아낼 수 있습니다. 이는 임무 수행 중 _실시간 인과 발견 (real-time causal discovery)_을 가능하게 할 수 있습니다.

2. 위성 군집을 위한 다중 에이전트 협업 (Multi-Agent Coordination for Satellite Constellations)

각각 인과 강화학습 (causal RL) 에이전트를 실행하는 50개의 큐브위성 (CubeSat) 군집을 상상해 보십시오. 이들은 인과 그래프를 공유하여 협력적으로 이상 징후를 예측하고 대응할 수 있습니다. 저는 에이전트들이 원시 데이터 (raw data)가 아닌 인과적 에지 강도 (causal edge strengths)만을 교환하여 대역폭과 프라이버시를 보존하는 연합 인과 강화학습 (federated causal RL) 프레임워크를 프로토타입으로 제작했습니다.

3. 하드웨어 가속 인과 추론 (Hardware-Accelerated Causal Inference)

저는 100마이크로초(microseconds) 미만으로 인과적 개입 (causal interventions)을 계산할 수 있는 FPGA 기반 가속기를 활용하고 있습니다. 이를 통해 밀리초(millisecond) 미만의 이상 대응이 가능해지며, 이는 고속 기동이나 방사선 이벤트 상황에서 매우 중요합니다.

결론: 학습 여정의 핵심 요약

이 프로젝트를 통해 저는 자율 우주 운영의 미래가 더 큰 모델이 아니라, _더 똑똑하고 투명한 모델_에 있다는 것을 배웠습니다. 설명 가능한 인과 강화학습 (Explainable Causal RL)은 극심한 전력 제약 조건 하에서도 단순히 행동할 뿐만 아니라 자신의 행동에 대해 _추론 (reason)_할 수 있는 AI 시스템으로 가는 길을 제시합니다.

가장 깊은 통찰은 실패로부터 얻었습니다. 저의 첫 번째 인과 강화학습 (causal RL) 에이전트는 인과 그래프 (causal graph) 상에서 "solar_current"와 "battery_voltage" 사이의 에지 (edge)가 약했기 때문에 태양광 패널의 이상 징후를 계속 무시했습니다. 태양광 셀의 물리 법칙에 대한 도메인 지식 (domain knowledge)을 추가하자 에이전트는 즉시 개선되었습니다. 이는 **인과 구조 (causal structure)가 궁극적인 사전 정보 (prior)**라는 저의 믿음을 강화해 주었습니다. 인과 구조는 문제의 근본적인 물리학을 포착하기 때문입니다.

이 분야를 탐구하는 개발자들에게는 간단한 토이 문제(예: 온도 조절기)를 위한 단순한 인과 그래프 (causal graph)부터 시작할 것을 권장합니다. do-연산자 (do-operator)를 구현하고, 정책 경사 (policy gradients)로 학습시키며, 에이전트가 지능적으로 개입하는 법을 배우는 과정을 지켜보십시오. 이 글에 포함된 코드는 좋은 시작점이 될 것입니다. 이를 귀하의 도메인에 맞게 조정하고, 다양한 인과 구조를 실험하며, 발견한 내용을 공유해 주세요.

제가 설명한 위성 이상 대응 시스템은 현재 저희 대학교 연구실의 프로토타입 큐브샛 (CubeSat)에서 테스트 중입니다. 결과는 유망하지만, 진정한 시험은 궤도 상에서 이루어질 것입니다. 그날이 오면, 저는 텔레메트리 (telemetry) 스트림을 지켜보며, 결정을 내리는 AI가 블랙박스가 아니라 모든 행동을 설명할 수 있는 투명한 인과 추론 (causal-reasoning) 시스템임을 확신할 것입니다.

*만약 자원 제약 시스템을 위한 인과 강화학습 (causal RL)을 연구하고 계신다면, 여러분의 실험에 대해 듣고 싶습니다. 아래에 댓글을 남겨주시거나