다국어 이해관계자 그룹을 위한 위성 이상 대응 운영용 설명 가능한 인과 강화학습 (Explainable Causal Reinforcement Learning)

서론: 인과관계 (Causality), 강화학습 (Reinforcement Learning), 그리고 다국어 AI의 교차점으로 떠나는 학습 여정

우주선 운영을 위한 강화학습 (RL) 에이전트를 연구하던 어느 늦은 밤의 연구 세션 순간이 여전히 기억납니다. 저는 시뮬레이션된 위성 환경에서 심층 Q-네트워크 (Deep Q-network) 학습을 막 마친 상태였고, 에이전트가 추진기 이상 (thruster anomalies) 상황에서 자세 제어 시스템 (attitude control system)을 안정화하는 법을 배웠지만, 저는 마음 한구석이 불안했습니다. 에이전트는 반응 휠 (reaction wheel) 속도를 줄이거나 백업 자이로스코프 (backup gyroscopes)로 전환하는 등의 결정을 내렸지만, 저는 에이전트가 왜 그런 행동을 선택했는지 전혀 알 수 없었습니다. 설상가상으로, 에이전트의 행동을 여러 국가에서 온 비기술직 이해관계자 (non-technical stakeholders) 팀에게 설명하려 했을 때, 언어 장벽은 극복할 수 없는 벽이 되었습니다. 그 좌절감은 저를 설명 가능한 인과 강화학습 (Explainable Causal Reinforcement Learning, ECRL) 개념과 이를 다국어 위성 이상 대응에 적용하는 연구로 이끈 수개월간의 탐구로 이어졌습니다.

이 신흥 분야를 연구하면서, 저는 전통적인 RL 에이전트들이 세상을 블랙박스 (black box)로 취급한다는 사실을 깨달았습니다. 즉, 이들은 근본적인 인과 기제 (causal mechanisms)를 이해하지 못한 채 관측 데이터 (observational data)로부터 정책 (policies)을 학습합니다. 위성의 열 제어 시스템 (thermal control system)이 고장 났을 때, 표준 RL 에이전트는 방열판 면적을 넓히는 법을 배울 수는 있지만, 그 행동이 왜 효과가 있는지 설명할 수 없으며, 다른 인과 구조를 포함하는 새로운 이상 현상에 적응할 수도 없습니다. 이는 모든 결정이 서로 다른 언어를 사용하고 서로 다른 기술적 배경을 가진 엔지니어, 미션 플래너 (mission planners), 그리고 규제 기관에 이르기까지 다양한 이해관계자들에게 정당성을 입증해야 하는 우주 운영 분야에서는 치명적인 문제입니다.

Pearl의 do-calculus와 같은 인과 추론 (Causal Inference) 프레임워크를 연구하고 이를 강화학습 (RL)과 결합함으로써, 저는 최적의 행동을 수행할 뿐만 아니라 인간이 해석 가능한 언어 중립적인 방식으로 자신의 추론 과정을 설명할 수 있는 에이전트를 구축할 수 있다는 것을 발견했습니다. 이 글에서는 코드 예제와 다국어 이해관계자 그룹을 대상으로 한 실험에서 얻은 실질적인 통찰을 포함하여, 이러한 시스템을 구축하기 위한 기술적 여정을 공유합니다.

기술적 배경: 위성 운영을 위한 설명 가능한 인과 강화학습 (ECRL)의 세 가지 기둥

1. 인과 강화학습 (Causal Reinforcement Learning): 상관관계를 넘어

전통적인 강화학습 (RL)은 상태 (State)를 행동 (Action)에 매핑하여 누적 보상을 최대화하는 정책 (Policy)을 학습합니다. 그러나 이러한 정책은 분포 외 (Out-of-distribution) 시나리오로 일반화되지 않을 수 있는 상관관계에 의존하기 때문에 취약합니다. 위성 이상 대응 (Satellite anomaly response) 상황에서 상관관계 기반의 에이전트는 "태양광 패널 전류가 떨어지면 배터리 충전율을 높인다"라고 학습할 수 있습니다. 하지만 근본 원인이 태양 플레어 (Solar flare)가 아닌 파편 충돌 (Debris impact)이라면, 에이전트의 행동은 오히려 해로울 수 있습니다.

인과 강화학습 (Causal RL)은 환경의 **구조적 인과 모델 (Structural Causal Model, SCM)**을 학습함으로써 이 문제를 해결합니다. SCM은 변수 간의 인과 관계를 인코딩합니다. 예를 들어, "태양광 패널 전류 $\rightarrow$ 배터리 충전 상태 (State of Charge)" 및 "추력기 온도 $\rightarrow$ 추력기 효율"과 같은 관계입니다. 시뮬레이션된 위성 환경을 활용한 실험 과정에서, 저는 다음과 같은 변수들을 포함하는 인과 그래프 (Causal graph)를 구현했습니다:

• solar_irradiance (외생 변수)
• panel_current (내생 변수, 복사 에너지 및 패널 상태에 의해 결정됨)
• battery_soc (패널 전류 및 부하에 의해 결정됨)
• thruster_temperature (점화 지속 시간 및 냉각제 흐름에 의해 결정됨)
• anomaly_flag (임계값 위반에 의해 결정됨)

핵심적인 통찰은 SCM을 학습함으로써 에이전트가 **반사실적 추론 (Counterfactual reasoning)**을 수행할 수 있다는 점이었습니다: "만약 이상 징후가 발생하기 전에 추력기 점화를 줄였다면 어떤 일이 일어났을까?" 이를 통해 에이전트는 통계적 상관관계가 아닌 인과적 효과 (Causal effects)의 관점에서 자신의 행동을 설명할 수 있게 되었습니다.

2. 인과 그래프 및 자연어를 통한 설명 가능성

RL에서의 설명 가능성은 정책(policies)이 종종 수백만 개의 매개변수를 가진 깊은 신경망이기 때문에 악명 높게 어렵습니다. 제 연구는 인과 그래프(causal graphs)와 **어텐션 기반 설명 메커니즘(attention-based explanation mechanisms)**을 결합하는 것이 시각적 및 텍스트적 설명을 모두 생성할 수 있음을 밝혀냈습니다. 다국어 이해관계자들을 위해, 저는 다음의 파이프라인을 설계했습니다:

1. 현재 이상에 관련된 인과 서브그래프(causal subgraph) 추출
2. 언어에 구애받지 않는 형식(예: 인과 경로 및 효과 크기를 포함하는 JSON)으로 구조화된 설명 생성
3. 미세 조정된 다국어 모델(예: mBART 또는 mT5)을 사용하여 설명을 여러 언어로 번역

이 접근 방식을 조사하는 동안, 이해관계자들이 다음 세 가지 질문에 답하는 설명을 선호한다는 것을 알게 되었습니다:

• 무엇이 이상을 유발했는가? (인과적 귀속(causal attribution))
• 어떤 조치가 취해졌는가? (정책 결정(policy decision))
• 왜 이 조치가 최적인가? (반사실적 정당화(counterfactual justification))

3. 다국어 이해관계자 그룹: 커뮤니케이션의 도전 과제

실제 위성 임무에서 이해관계자들은 다음과 같습니다:

• 기술 세부 사항이 필요한 영어 사용 엔지니어
• 간결하고 계층적인 요약을 선호하는 일본어 임무 기획자
• 법적 및 안전 관련 정당화가 필요한 아랍어 사용 규제 담당관
• 실시간 조치 로그가 필요한 스페인어 사용 지상국 운영자

프로토타입 시스템으로 실험한 결과, 단순히 텍스트를 번역하는 것만으로는 불충분하다는 것을 알게 되었습니다. 문화적 차이는 설명이 인식되는 방식에 영향을 미칩니다. 예를 들어, 일본 이해관계자들은 그룹 합의(

시스템은 네 가지 주요 구성 요소로 이루어져 있습니다:

1. 인과 발견 모듈 (Causal Discovery Module): 과거 텔레메트리 (telemetry) 데이터로부터 구조적 인과 모델 (SCM, Structural Causal Model)을 학습합니다.
2. 인과 강화학습 (Causal RL) 에이전트: SCM을 사용하여 의사결정을 내리고 설명을 생성합니다.
3. 설명 생성기 (Explanation Generator): 언어에 구애받지 않는 (language-agnostic) 형식으로 구조화된 설명을 생성합니다.
4. 다국어 인터페이스 (Multilingual Interface): 다양한 이해관계자를 위해 설명을 번역하고 조정합니다.

코드 예제 1: 텔레메트리 데이터로부터의 인과 발견 (Causal Discovery)

import pandas as pd
import networkx as nx
from causalnex.structure import DAGRegressor
...

코드 예제 2: 설명 생성을 포함한 인과 강화학습 (Causal RL) 에이전트

import torch
import torch.nn as nn
import torch.optim as optim
...

코드 예제 3: 문화적 적응을 포함한 다국어 설명 생성

from transformers import MBartForConditionalGeneration, MBart50TokenizerFast
import json

...

실제 응용 사례: 위성 운영에서의 ECRL 배포

시뮬레이션된 위성 군집 (satellite constellation)을 활용한 실험 과정에서, 저는 세 가지 일반적인 이상 유형 (anomaly types)을 처리하기 위해 ECRL 시스템을 배포했습니다:

1. 열 폭주 (Thermal runaway): 에이전트는 냉각제 유량(coolant flow)을 증가시키는 것이 추진기 온도(thruster temperature)에 인과적 영향(causal effect)을 미친다는 것을 학습했지만, 추진기 듀티 사이클(duty cycle)을 줄이는 것이 더 강력하고 직접적인 영향을 미친다는 사실도 발견했습니다. 설명 시스템(explanation system)은 해당 이상 현상의 원인을 "과도한 추진기 점화 지속 시간"으로 정확히 규정하였으며, 반사실적 증거(counterfactual evidence)를 통해 "듀티 사이클 30% 감소"라는 조치를 정당화했습니다.

2. 전력 서브시스템 고장 (Power subsystem failure): 태양광 패널 전류가 예기치 않게 감소했을 때, 인과 그래프(causal graph)는 근본 원인이 "태양 복사 에너지 감소(solar irradiance decrease)"가 아니라 "패널 3에 대한 파편 충돌(debris impact on panel 3)"(진동 센서를 통해 감지됨)임을 밝혀냈습니다. 에이전트는 배터리 전원으로 전환하고 패널 진단을 시작했습니다. 이는 상관관계 기반(correlation-based) 에이전트라면 불가능했을 결정입니다.

3. 통신 두절 (Communication blackout): 에이전트는 안테나 정렬 불량(antenna misalignment)이 신호 손실을 유발한다는 것을 감지했지만, 인과 그래프는 이것이 "불균일한 가열로 인한 열팽창(thermal expansion from uneven heating)"에 의해 발생했음을 보여주었습니다. 설명에는 다음과 같은 인과 경로(causal path)가 포함되었습니다: "태양 각도(solar angle) → 패널 온도(panel temperature) → 위성 본체 팽창(satellite chassis expansion) → 안테나 정렬 불량(antenna misalignment) → 신호 손실(signal loss)."

과제 및 해결책: 실험을 통한 교훈

과제 1: 희소 데이터(Sparse Data)를 활용한 인과 그래프 학습

위성 텔레메트리(telemetry)는 종종 희소하고 노이즈가 많습니다. 저의 초기 인과 발견(causal discovery) 모델은 많은 허위 엣지(false edges)를 포함하는 그래프를 생성했습니다. 저는 이를 해결하기 위해 도메인 지식을 하드 제약 조건(hard constraints)으로 통합하고(예: "추진기 점화는 온도에만 영향을 미칠 수 있으며, 그 반대는 불가능함"), 불확실성을 고려하는 베이지안 인과 발견(Bayesian causal discovery) 방식을 사용했습니다.

과제 2: 설명의 충실도(Fidelity) 대 단순성(Simplicity)

서로 다른 배경을 가진 이해관계자들은 각기 다른 수준의 상세 정보를 요구했습니다. 엔지니어들은 효과 크기(effect sizes)를 포함한 전체 인과 경로를 원했고, 규제 기관은 상위 수준의 요약을 원했습니다. 저는 다음 세 가지 수준을 생성하는 **계층적 설명 시스템(hierarchical explanation system)**을 구현했습니다:

• Level 1 (Executive, 경영진 수준): "이상 징후: 열 발생. 조치: 추진기 점화 감소. 이유: 과열 방지."
• Level 2 (Technical, 기술진 수준): "인과 경로 (Causal path): thruster_firing → thruster_temperature → anomaly_flag. 효과 (Effect): +0.85."
• **Level 3 (