역방향 시뮬레이션 검증을 통한 순환 제조 공급망을 위한 설명 가능한 인과 강화 학습

서론: 순환 시스템을 위한 인과 RL로의 여정

약 18개월 전, 저는 별것 아닌 것에서 시작된 토끼굴에 깊이 빠지게 되었습니다. 배터리 재활용 작업의 역물류(reverse logistics)를 최적화할 수 있는 강화 학습 (RL) 에이전트를 구축하려고 시도하고 있었습니다. 이 에이전트는 시뮬레이션에서는 매우 훌륭해 보이는 정책으로 수렴했지만, 수요 예측에 작은 교란을 가하자마자 무너졌습니다. 이는 전형적인 상관관계 기반 과적합(correlation-driven overfitting) 사례였습니다. 즉, 에이전트가 공급망의 실제 인과 구조 대신 통계적 지름길을 학습한 것입니다.

그 실패는 저를 인과 추론 (causal inference), 반사실적 추론 (counterfactual reasoning)을 거쳐 궁극적으로 **설명 가능한 인과 강화 학습 (Explainable Causal Reinforcement Learning, XCRL)**이라는 떠오르는 분야로 연구 탐험에 내몰았습니다. 제가 발견한 것 — 그리고 이 글에서 공유할 내용 — 은 인과 그래프(causal graphs)와 RL을 결합하고, 이를 **역방향 시뮬레이션 (inverse simulation)**을 통해 검증하면, 단순히 더 견고할 뿐만 아니라 감사 가능한 (auditable) 에이전트를 생성한다는 것입니다. 그리고 물질 흐름이 순환하며, 규제가 강화되고, 모든 결정이 하류 환경적 결과를 초래하는 순환 제조에서는, 감사 가능성은 선택 사항이 아닙니다. 그것은 전부입니다.

왜 순환 제조는 표준 RL을 무너뜨리는가

선형 공급망은 관용적입니다. 원자재를 과잉 주문하면 재고 비용이 발생합니다. 하지만 순환 공급망은 밀접하게 연결된 피드백 시스템입니다. 이번 분기에 몇 개의 제품을 재제조할지 결정하는 것이 다음 세 분기 동안의 코어 가용성을 변화시키고, 이는 신규 생산의 경제성을 변화시키며, 탄소 회계에 영향을 미치고, 궁극적으로 EU의 디지털 제품 여권(Digital Product Passport)과 같은 규정 하에서의 컴플라이언스 태세(compliance posture)를 변화시킵니다.

이 문제를 탐구하는 과정에서 저는 표준 모델 프리 (model-free) 강화학습 (RL)이 환경을 블랙박스 마르코프 결정 과정(Markov Decision Process)으로 취급한다는 것을 깨달았습니다. 이는 상태 전이가 왜 일어났는지에 대해 질문하지 않고 $\pi(a|s)$를 학습합니다. 폐쇄 루프 시스템에서 이것은 위험한데, 규제 기관, 운영 관리자, 지속 가능성 담당자들이 정확히 답변을 필요로 하는 것이 바로 반사실적 질문("재활용 대신 리퍼비시(refurbished)했다면 어떻게 되었을까?")이기 때문입니다.

바로 여기에 **인과 강화학습 (causal reinforcement learning)**이 등장합니다. 관찰된 궤적의 상관관계로부터 학습하는 대신, 우리는 구조적 인과 모델(Structural Causal Model, SCM)을 학습 루프에 내장하여 에이전트가 관측값보다는 개입($\text{do}(\cdot)$)에 대해 추론하도록 합니다.

물질 흐름을 위한 인과 기반: 구조적 인과 모델 (SCM)

제 실험에서 저는 순환 공급망을 물질 재고와 흐름에 대한 일련의 구조 방정식으로 모델링하는 것이 가장 깔끔한 방법임을 발견했습니다. 최소 버전을 간략하게 설명하겠습니다.

import numpy as np
import networkx as nx

...

제 연구의 핵심 통찰은 다음과 같습니다: 이 SCM을 갖게 되면, 개입 분포(interventional distributions) $\text{P}(Y | \text{do}(A=a))$를 해석적으로 또는 몬테카를로(Monte Carlo)를 통해 계산할 수 있으며, 이를 RL 에이전트의 보상 신호로 사용할 수 있다는 것입니다. 에이전트는 단순히 관찰된 보상을 최대화하는 것이 아니라, 반사실적으로 견고한 (counterfactually robust) 보상을 최대화합니다.

인과적 귀속을 통한 설명 가능성

XCRL의 '설명 가능한(explainable)' 측면은 학습된 모든 정책을 인과적 경로로 분해할 수 있다는 사실에서 나옵니다. 저는 인과 그래프에서의 Shapley 기반 기여도 분석을 조사하던 중, 경로별 효과(path-specific effect) 분해가 일반적인 특성 중요도보다 훨씬 더 의미 있는 설명을 제공한다는 것을 발견했습니다.

위의 SCM을 사용하여 인과 경로 기여도를 간결하게 구현한 코드는 다음과 같습니다:

def path_specific_effect(scm, state, action, pathway, n_samples=2000):
    """
    Estimate the effect of `action` on target via a specific causal pathway.
...

제가 좋아하는 점은 에이전트가 '재제조량을 12% 늘리라'고 추천할 때, 운영 관리자에게 다음과 같은 상세 분석을 제공할 수 있다는 것입니다: "예상되는 탄소 감축량의 60%는 핵심-유입(core-inflow) 경로를 통해 발생하며; 25%는 신규 생산 대체(substitution of new production)를 통해서, 그리고 15%는 더 높은 재활용 질량에서 발생하는 반동 효과(rebound effect)입니다." 이는 이사회 회의에서도 방어할 수 있는 설명입니다.

역방향 시뮬레이션 검증: 빠진 안전장치 (The Missing Guardrail)

이 부분이 제가 가장 오래 공들여 이해한 부분입니다. 인과적 기반(causal backbone)을 갖추었더라도, RL 에이전트는 _모델 오지정(model misspecification)_을 악용하는 정책을 학습할 수 있습니다. SCM은 사실이 아니라 가설일 뿐입니다. 그렇다면 실제 공장 현장에 배포하기 전에 그 정책이 신뢰할 만한지 어떻게 검증할까요?

시스템 식별(system identification) 문헌을 공부하던 중 발견한 답은 **역방향 시뮬레이션(inverse simulation)**입니다. 정책을 순방향으로 시뮬레이션하여 출력이 합리적인지 확인하는 대신, 문제를 역전시킵니다: 목표 결과 궤적(예: 규제 탄소 예산)이 주어졌을 때, 어떤 정책 입력값이 필요했을까요? 그런 다음 에이전트가 제안한 정책이 그 역방향 해와 일치하는지 확인합니다.

from scipy.optimize import minimize

def inverse_simulation(scm, initial_state, target_trajectory, horizon=12):
...

실험을 진행하면서, 이 발산(divergence) 지표가 매우 민감한 조기 경보 신호라는 것을 발견했습니다. 에이전트를 시뮬레이션 데이터로 훈련시킨 후, 약간 교란된 SCM(다른 수율률을 가진 실제 공장을 나타냄)에 대해 테스트했을 때, 보상 지표가 저하되는 것이 감지되기 훨씬 전에 발산 값이 0.08에서 0.42로 급증했습니다. 역방향 시뮬레이션은 순방향 평가에서는 놓쳤던 분포 변화를 포착해냈습니다.

종합하기: XCRL 학습 루프

수개월간의 반복 끝에 제가 수렴한 전체 아키텍처는 다음과 같습니다:

1. **인과 발견(causal discovery)**을 사용하여 역사적 자재 흐름 데이터로부터 SCM을 학습합니다 (NOTEARS와 도메인 제약 조건 조합을 사용했습니다).
2. 관찰된 수익과 반사실적 일관성(counterfactual consistency)을 결합한 보상으로 RL 에이전트를 훈련시킵니다.
3. 경로별 기여도(path-specific attribution)를 통해 각 행동을 설명합니다.
4. 배포 전에 역방향 시뮬레이션을 통해 제안된 모든 정책을 검증합니다.

class XCRLAgent:
    def __init__(self, scm, policy_net, causal_penalty=0.3):
        self.scm = scm
...

causal_penalty 항은 SCM을 얼마나 신뢰할지 대 데이터가 얼마나 신뢰할지를 제어하는 다이얼입니다. 제 실험에서 0.2와 0.4 사이의 값이 가장 좋았는데, 구조를 강제하기에는 충분히 높으면서도 에이전트가 SCM이 포착하지 못하는 효율성을 발견하도록 하기에 충분히 낮았습니다.

실제 적용 사례 및 배운 점

전자제품 리매뉴팩처링과 전기차(EV) 배터리 재활용 분야의 배포 사례를 연구하면서, 세 가지 패턴이 나타나는 것을 보았습니다:

규제 감사 추적 기록. EU 배터리 규정은 제조업체가 재활용 콘텐츠 주장이 인과적으로 추적 가능하다는 것을 입증하도록 요구합니다. XCRL의 경로별 기여도는 감사 요건에 직접 매핑됩니다. 즉, 모든 주장 뒤에는 인과적 사슬이 존재하는 것입니다.

데이터 부족 상황에서의 견고성. 순환 공급망은 역사가 짧아 과거 데이터가 부족하다. 인과적 사전 지식(causal priors)이 정규화기(regularizers) 역할을 한다. 순수 모델 기반(model-free) 기준선과 비교했을 때, SCM 백본을 추가함으로써 샘플 복잡도(sample complexity)가 30~40% 감소하는 것을 관찰했다.

휴먼-인-더-루프 신뢰 구축. 운영 관리자들은 블랙박스 모델을 신뢰하지 않는다. 하지만 에이전트가 "경로 X를 통해 이점의 60%가 흐르기 때문에 이것을 추천합니다"라고 말하면, 그들은 이에 적극적으로 관여한다. 내가 수행한 파일럿 중 하나에서는 인과적 설명(causal explanations)이 추가된 후 에이전트 추천의 수용률이 22%에서 71%로 증가했다.

과정 중 직면한 과제들

인과적 발견(Causal discovery)은 취약하다. NOTEARS와 유사한 방법들은 순환 그래프(cyclic graphs)에 어려움을 겪는데, 순환 공급망은 본질적으로 순환 구조를 가지고 있다. 나는 시간 지연된 엣지(time-lagged edges)로 사이클을 끊어야 했고 도메인 제약 조건(domain constraints)에 크게 의존해야 했다.

반사실 추정(Counterfactual estimation)은 비용이 많이 든다. 각 do(·) 질의는 몬테카를로 샘플링(Monte Carlo sampling)을 필요로 한다. 결국 나는 개입 분포(interventional distributions)를 캐싱하고 정규화 흐름(normalizing flows)을 사용하여 비용을 상각함으로써 추론 시간을 약 8배 단축했다.

역 시뮬레이션(Inverse simulation)은 퇴화성 문제(degeneracy issues)를 안고 있다. 여러 행동 시퀀스(action sequences)가 동일한 목표 궤적(target trajectory)을 생성할 수 있기 때문이다. 나는 최소 분산 해법(minimum-variance solutions) 방향으로 정규화를 추가하고, 단일 추정치(point estimate) 대신 전체 해 집합(full solution set)을 보고함으로써 이 문제를 해결했다.

설명 가능성(Explainability) ≠ 해석 가능성(Interpretability). 경로별 효과는 수학적으로 깔끔하지만 여전히 추상적이다. 나는 이를 도메인 특화 시각화, 즉 인과 가중치가 덧씌워진 자재 흐름의 산키 다이어그램(Sankey diagrams of material flows)과 결합하는 방법을 배웠다.

미래 지향점

현재 내가 탐구하고 있는 가장 흥미로운 분야는 **양자 가속 역 시뮬레이션(quantum-accelerated inverse simulation)**이다. 이 역 문제는 근본적으로 고차원 행동 공간(high-dimensional action space)에 대한 최적화 문제이며, 양자 어닐링(quantum annealing)이나 QAOA는 원칙적으로 고전적인 L-BFGS가 놓치는 전역 최적점(global optima)을 찾을 수 있다. 작은 규모의 사례에서 얻은 초기 결과들은 유망하지만, 임베딩 오버헤드(embedding overhead)는 여전히 매우 크다.

두 번째 방향은 **다중 에이전트 XCRL(multi-agent XCRL)**입니다. 이 경우 순환 네트워크의 각 노드(공급업체, 재제조업체, 재활용업체)가 자체적인 인과 모델을 가진 에이전트이며, 공유된 인과 그래프를 통해 협력해야 합니다. 이곳에서 에이전트형 AI 시스템이 인과 추론과 만나게 되며, 저는 이것이 향후 몇 년 동안 정의할 연구 분야가 될 것이라고 생각합니다.

결론: 이 여정이 가르쳐준 것들

순환 제조를 위한 설명 가능한 인과 강화 학습(explainable causal RL)에 대한 저의 탐구는 디버깅 연습으로 시작했지만, 하나의 철학으로 바뀌었습니다. 스스로 설명할 수 없는 에이전트는 폐쇄 루프 시스템을 맡겨서는 안 됩니다. 구조적 인과 모델(structural causal models)을 내재화하고, 의사결정을 인과 경로에 귀속시키며, 역방향 시뮬레이션(inverse simulation)을 통해 정책을 검증함으로써, 우리는 견고하고(robust), 감사 가능하며(auditable), — 결정적으로 — 대화가 가능한(conversable) RL 시스템을 얻게 됩니다. 이 시스템들은 공장 관리자와 같은 방에 앉아 자신들의 추천 사항을 변호할 수 있습니다.

제가 여기에 공유한 코드는 골격일 뿐이지만, 그 패턴은 실제이며 저의 자체 실험에서 검증되었습니다. 만약 여러분이 순환 공급망, 지속 가능성 최적화 또는 반사실(counterfactuals)이 중요한 모든 분야에 대해 작업하고 있다면, 역방향 시뮬레이션 검증 트릭을 먼저 사용해 보시기를 강력히 권장합니다. 이것은 기존 RL 파이프라인에 추가할 수 있는 가장 높은 레버리지의 개선 사항이며, 여러분이 에이전트가 실제로 무엇을 알고 있는지 생각하는 방식을 바꿀 것입니다.