Satellite Anomaly Response

제로 트러스트 거버넌스 기반 위성 이상 대응 작업을 위한 설명 가능한 인과 강화 학습

서론: 노이즈 속의 신호

작년, 다중 에이전트 강화 학습 (RL) 시스템을 이용한 심야 실험에 깊이 빠져있던 중, 자율 의사 결정에 대한 사고방식을 근본적으로 바꾼 벽에 부딪혔습니다. 저는 작은 군집 시뮬레이터—12개의 가상 위성, 지상국, 그리고 텔레메트리 이상에 대응하도록 학습된 정책 네트워크—를 구축했습니다. 에이전트는 시뮬레이션에서 완벽하게 작동했습니다. 전력을 재라우팅하고, 페이로드를 재구성하며, 주입된 결함으로부터 94% 이상의 성공률로 복구했습니다. 그러자 저는 모든 운영자가 결국 던지는 질문을 했습니다: “왜 그렇게 했나요?”

에이전트의 답변은 실질적으로 어깨를 으쓱하는 것이었습니다. 값 함수(value function)는 저에게 숫자를 주었을 뿐입니다. 정책(policy)은 행동에 대한 확률 분포를 주었을 뿐입니다. 어느 것도 에이전트가 진정한 인과 관계—태양 전지판 열화가 일식 중 열 드리프트의 원인이 된다—를 학습했는지, 아니면 단순히 저의 훈련 분포에서 얻은 허위 상관관계를 암기했는지를 알려주지 않았습니다. 단 하나의 잘못된 명령이 수백만 달러의 손실을 초래하고 페이로드를 복구 불가능하게 만들 수 있는 위성 운영 환경에서,

위성 이상 대응 작업은 순진한 강화학습(RL)을 위험하게 만드는 여러 제약 조건이 교차하는 지점에 놓여 있습니다:

• 희소하고 높은 위험도의 보상: 수천 번 실패할 기회가 없습니다. 잘못된 자세 제어는 임무를 끝낼 수 있습니다.
• 부분 관측 가능성: 원격 측정(Telemetry) 데이터는 지연되고, 양자화되며, 때로는 손상됩니다. 진정한 상태를 결코 볼 수 없습니다.
• 비정상성 (Non-stationarity): 방사선, 열 순환, 궤도 표류 등이 시간이 지남에 따라 시스템 동역학을 변화시킵니다.
• 규제 및 안전 범위: 명령은 전력 예산, 열 제한, 지상 접촉 창(ground-contact windows)을 준수해야 합니다.
• 감사 가능성 (Auditability): 모든 자율적인 행동은 이상 검토 위원회(anomaly review boards)를 위해 사후에 재구성되어야 합니다.

이 문제 공간을 탐색하는 동안, 저는 표준 딥 RL이 환경을 적합해야 할 블랙박스로 취급하는 반면, 위성 운영자들은 열 모델, 전력 예산, 자세 역학 같은 '메커니즘(mechanisms)'의 관점에서 생각한다는 것을 깨달았습니다. 이 둘 사이의 간극이야말로 설명 가능성이 존재하거나 사라지는 지점입니다.

인과 강화 학습 (Causal Reinforcement Learning): 핵심 아이디어

인과 RL에 대한 제 연구의 중심 통찰은 에이전트가 단순히 전이 함수(transition function)뿐만 아니라 환경의 **구조적 인과 모델(Structural Causal Model, SCM)**을 학습해야 한다는 것입니다. 형식적으로, SCM은 다음 튜플입니다:

$$
\mathcal{M} = \langle U, V, F, P(U) \rangle
$$

여기서 $U$는 외생 변수(exogenous, 관측 불가능한) 변수이고, $V$는 내생 변수(endogenous, 관측 가능한) 변수이며, $F$는 구조 방정식($V_i = f_i( ext{pa}(V_i), U_i)$)의 집합이고, $P(U)$는 외생 잡음(exogenous noise)에 대한 분포입니다. 핵심 속성은 $F$가 개입(intervention) 하에서도 불변인 '메커니즘'을 인코딩한다는 것입니다. 이는 운영자가

1. 반사실적 시뮬레이션 (Counterfactual rollouts): “우리가 관찰한 것을 바탕으로, 만약 안전 모드 진입을 지령했다면 어떻게 되었을까?”
2. 개입 인식 계획 (Intervention-aware planning): 에이전트는 단순히 상관관계를 파악하는 것이 아니라, $\text{do}$-연산($\text{do}$-operations)에 대해 추론할 수 있다.
3. 인과적 기여 할당 (Causal credit assignment): 보상은 이상 징후를 유발한 실제 메커니즘에 귀속되며, 우연히 상관관계를 갖는 특징에는 귀속되지 않는다.

다음은 제가 원격 측정 스트림(telemetry streams) 위에 인과적 발견 계층(causal discovery layer)을 어떻게 구성했는지 간략하게 보여주는 내용입니다:

import torch
import torch.nn as nn
import networkx as nx
...

discover_graph 메서드는 저에게 인과 구조에 대한 데이터 기반의 사전 지식(data-driven prior)을 제공했고, 저는 이를 도메인 제약 조건(예: “패널 전류가 같은 타임스텝에서 버스 전압을 유발할 수 없다”—물리적 불가능성)으로 다듬었습니다. 이 하이브리드 방식—데이터와 물리 법칙의 결합—은 순수 발견 방식보다 훨씬 안정적이었습니다.

설명 가능성을 일급 출력(First-Class Output)으로 활용하기

제 연구 과정에서 가장 놀라웠던 부분은, '설명 가능성'을 사후적(post-hoc) 접근 방식으로 취급하는 것을 멈추고 학습 신호(training signal)로 다루기 시작했을 때 얼마나 많이 개선되는지였습니다. 저는 정책 목표에 **반사실적 일관성 손실 (counterfactual consistency loss)**을 추가했습니다:

$$
\mathcal{L}{\text{total}} = \mathcal{L}{\text{RL}} + \lambda_1 \mathcal{L}{\text{causal}} + \lambda_2 \mathcal{L}{\text{counterfactual}}
$$

여기서 반사실적 항은 에이전트의 행동 가치 추정치가 SCM(구조적 인과 모델, Structural Causal Model)의 개입 예측과 불일치할 때마다 패널티를 부과합니다:

def counterfactual_consistency_loss(q_network, scm, state, action, horizon=3):
    """
    RL 크리틱의 Q-값과 SCM의 ...

이 손실 함수를 연구하면서 저는 반직관적인 사실을 배웠습니다. SCM이 유용하기 위해 완벽할 필요는 없다는 것입니다. 심지어 거친 인과 모델이라도 정책이 물리적으로 그럴듯한 추론에 고정되도록 하는 정규화자(regularizer) 역할을 합니다. 제 실험에서 70% 정확도의 SCM은 순수 RL 기준선 대비 오탐 행동 선택을 약 40% 감소시켰습니다.

제로 트러스트 거버넌스: 아무것도 신뢰하지 않기

여기서 보안 엔지니어링 마인드가 저의 설계에 변화를 주었습니다. 네트워크 보안 분야에서 대중화된 제로 트러스트 아키텍처는 **'절대 신뢰하지 않고, 항상 검증한다(never trust, always verify)'**라는 원칙에 기반합니다. 이를 자율 위성 운용에 적용하면 다음과 같은 의미가 있습니다:

• 암호학적 증명(cryptographic attestation) 없이는 어떠한 에이전트의 행동도 실행되지 않습니다.
• 모든 결정은 검증 가능한 설명 아티팩트를 지니고 있어야 합니다.
• 정책 업데이트는 배포 전에 거버넌스 게이트를 통과해야 합니다.
• 지상 운영자는 서명된 감사 추적(signed audit trails)을 통해 재정의 권한을 유지합니다.

저는 간단하지만 효과적인 패턴을 사용하여 XCRL 에이전트 주변에 **거버넌스 엔벨로프(governance envelope)**를 구축했습니다. 즉, 제안되는 모든 행동은 서명되고 설명 가능한 “행동 제안 객체(Action Proposal Object, APO)”로 패키징되며, 이는 별도의 독립적으로 검증된 거버넌스 모듈에 의해 평가됩니다.

import hashlib, json, hmac
from dataclasses import dataclass, asdict
from typing import List
...

제가 실험한 결과, 이 게이트는 순수 RL이 조용히 통과시키던 두 가지 유형의 실패를 포착했습니다: 엔벨로프 외부 행동(out-of-envelope actions) (에이전트가 하드웨어 한계를 넘어서는 열 설정점(thermal setpoint)을 시도하는 경우)과 설명 불가능한 행동(unexplainable actions) (인과적 설명이 관찰된 이상 현상과 단절된 고신뢰도 행동)입니다.

에이전트 루프: 인식, 인과 추론, 행동, 증명

제가 수렴한 전체 파이프라인은 다음과 같습니다:

1. 인식(Perception): 원격 측정 스트림을 수집하여 잠재 상태(latent state)로 인코딩합니다.
2. 인과 추론(Causal Inference): SCM은 이상 현상의 가장 가능성 높은 근본 원인을 식별합니다.
3. 정책 평가(Policy Evaluation): XCRL 정책은 후보 행동을 제안하며, 각 행동은 Q-값 및 반사실적 일관성(counterfactual consistency)으로 점수화됩니다.
4. 설명 생성(Explanation Generation): 상위-$k$개 행동에 대해 에이전트는 사람이 읽을 수 있는 인과 사슬을 생성합니다.
5. 거버넌스 게이트(Governance Gate): APO는 서명되고, 검증되며, 안전 엔벨로프와 비교 평가됩니다.
6. 실행 및 감사(Execution & Audit): 행동이 실행되고; 전체 APO가 불변의 감사 로그에 추가됩니다.

이 빌드를 진행하면서 제가 흥미롭게 발견한 점은 **설명 생성 단계(explanation generation step)**가 정책 자체를 개선했다는 것입니다. 에이전트에게 구조화된 인과 형식으로 추론 과정을 명확히 하도록 강제하자, 학습 신호가 더욱 풍부해졌고, 에이전트는 설명할 수 없는 행동을 피하도록 학습했습니다. 이는 제가 예상하지 못했던 일종의 자기 지도 정규화(self-supervised regularization) 형태입니다.

과정에서 겪은 어려움들

어려움 1: 비정상성 하에서의 인과 발견은 불안정하다. 첫 번째 SCM이 궤도 조건이 변함에 따라 표류했습니다. 저는 이를 **슬라이딩 윈도우 재추정(sliding-window re-estimation)**과, 구조 방정식의 매개변수가 임계값을 초과하여 이동할 때 경고를 발생시키고 재발견 주기를 트리거하는 **메커니즘 안정성 검사(mechanism stability check)**를 추가하여 해결했습니다.

어려움 2: 반사실적 추정은 비용이 많이 든다. 모든 후보 행동에 대한 전체 개입 시뮬레이션(interventional rollouts)은 감당할 수 없을 정도로 느렸습니다. 저는 학습된 반사실 모델(learned counterfactual model) (SCM 시뮬레이션으로 학습된 작은 신경망 서로게이트)으로 전환하여, 컴퓨팅 자원의 5%만으로 90%의 정확도를 달성했습니다.

어려움 3: 거버넌스 게이트가 교착 상태에 빠질 수 있다. 만약 게이트가 빠르게 진화하는 이상 상황 동안 모든 제안된 행동을 거부하면, 위성은 아무것도 하지 않게 되는데—이것은 종종 최악의 결과입니다. 저는 **폴백 사다리(fallback ladder)**를 추가했습니다: 어떤 제안도 통과하지 못하면, 시스템은 사전 검증된 안전 모드 정책으로 에스컬레이션하며, 이 정책의 행동들은 사전에 인증됩니다.

어려움 4: 설명 품질을 측정하기 어렵다. 저는 인과 커버리지(causal coverage) (관찰된 이상 변동 중 인용된 메커니즘에 의해 설명되는 비율), 반사실적 선명도(counterfactual sharpness) (개입 시 예측 결과가 얼마나 변하는지), 그리고 운영자 가독성(operator legibility) (두 명의 은퇴한 임무 운영자와 함께 진행한 소규모 인간 연구를 통해 측정)를 결합한 복합 지표를 정의하게 되었습니다.

양자 가속 인과 탐색 (미리 엿보기)

양자 컴퓨팅과 인과 추론의 교차점에 대해 학습하던 중, **양자 진폭 증폭(quantum amplitude amplification)**을 사용하여 대규모 후보 DAG 공간에서의 구조 학습 속도를 높이는 유망한 방향을 접했습니다. 아이디어는 유효한 인과적 순서 찾기를 Grover 스타일 문제로 인코딩하여, 후보 구조의 개수에 대해 이차적인 속도 향상을 얻을 수 있다는 것입니다. 상태 벡터 시뮬레이터(statevector simulator)를 사용한 저의 초기 시뮬레이션은 이것이 수백 개의 원격 측정 채널을 가진 군집에 중요할 수 있음을 시사했습니다—이는 기존의 클래식 PC나 GES 알고리즘으로는 편안하게 처리하기 어려운 수준입니다. 아직 초기 단계이지만, 그 궤적은 설득력이 있습니다.

위성을 넘어선 실제 응용 분야

XCRL + 제로 트러스트 패턴은 모든 고위험 자율 영역에 잘 일반화됩니다:

• 자율 주행 차량: 센서 융합 실패에 대한 인과 추론, 규제 감사를 위한 서명된 액션 제안.
• 의료 기기: 반사실적 안전 점검을 통한 설명 가능한 용량 조정.
• 산업 제어: 거버넌스 게이팅(governance-gated) 작동을 통한 공정 이상에 대한 인과 근본 원인 분석.
• 금융 거래 에이전트: 불변의 감사 추적(immutable audit trails)을 갖춘 반사실적 위험 평가.

각 경우에서 패턴은 동일합니다: 단순한 매핑이 아닌 메커니즘을 학습하고; 단순한 점수가 아닌 결정을 설명하며; 모든 것을 검증하고, 아무것도 신뢰하지 않는 것.

향후 방향

제가 가장 기대하는 최전선 분야는 **군집 전반에 걸친 연합 인과 RL(federated causal RL)**입니다. 이는 여러 위성이 민감한 원격 측정 데이터를 중앙 집중화하지 않으면서 공유된 인과 모델을 학습하는 것입니다. 거버넌스 증명(governance attestation)을 위한 영지식 증명(zero-knowledge proofs)과 결합되면, 우주 운영을 위한 진정으로 분산되고 감사 가능한 자율성 계층이 가능해질 수 있습니다. 또한 저는 인과 세계 모델(causal world models) (Dreamer와 유사하지만 SCM 백본을 사용한 방식)을 샘플 효율적인 학습 경로로 주시하고 있습니다. 이는 모든 실제 단계가 비용이 많이 드는 영역에서 특히 중요합니다.

결론: 신뢰는 검증 가능한 속성입니다.

좌절스러웠던 심야 실험부터 작동하는 XCRL 프로토타입에 이르기까지의 여정은 저에게 근본적인 것을 가르쳐 주었습니다. 즉, 설명 가능성(explainability)과 거버넌스(governance)는 자율 시스템에 추가되는 기능이 아니라—디자인 원시 요소(design primitives)입니다. RL 에이전트가 인과적으로 추론하고 제로 트러스트 게이트를 통해 자신의 행동을 정당화하도록 강제하면, 단순히 더 안전한 시스템을 얻는 것이 아닙니다. 더 나은 시스템을 얻게 됩니다. 인과적 제약(causal constraints)은 학습을 규제합니다. 거버넌스 게이트는 실패를 포착하고, 설명 요구 사항은 정책을 날카롭게 합니다.

위성 이상 대응의 경우, 잘못된 결정의 비용이 하드웨어와 임무 연차로 측정되기 때문에, 이것은 사치가 아니라 자율성을 위한 필수 조건입니다. 그리고 제가 이를 구축하는 동안 발견했듯이, 그 대가는 AI에서 매우 희귀한 것을 구매해 줍니다. 바로 이상 발생 검토 위원회(anomaly review board) 앞에서 실제로 방어할 수 있는 시스템입니다.