윤리적 감사 가능성을 내장한 지속 가능한 양식 모니터링 시스템을 위한 설명 가능한 인과 강화학습 (Explainable Causal Reinforcement Learning)

나의 관점을 바꾼 발견

비가 내리던 어느 화요일 오후, 나의 홈 랩(home lab)에서 강화학습 (Reinforcement Learning, RL)에 대한 나의 이해를 근본적으로 재편할 논문을 우연히 발견했다. 나는 전통적인 RL을 사용하여 폭기(aeration) 및 급이 일정을 조정함으로써 어항의 수질 모니터링을 최적화하는 프로젝트를 진행 중이었다. 결과는 나쁘지 않았다. 물고기 생존율이 10% 향상되었다. 하지만 무언가 공허한 느낌이 들었다. 모델은 블랙박스 (black box)였다. 모델이 실패했을 때, 나는 그 이유를 설명할 수 없었다. 더 나쁜 것은, 모델이 윤리적으로 의심스러운 절충안(trade-offs)을 선택하지 않는다고 보장할 수 없었다는 점이다.

그때 인과 강화학습 (Causal Reinforcement Learning, CRL)을 발견했다. Judea Pearl의 인과 추론 (causal inference) 연구를 탐구하면서, 나는 전통적인 RL이 상관관계 (correlations)를 인과 관계 (causal relationships)로 취급한다는 사실을 깨달았다. 이는 복잡한 생물학적 시스템에서 매우 위험한 가정이다. 양식업에서 산소 수치의 하락은 급이 증가와 상관관계가 있을 수 있지만, 그 _원인 (cause)_은 결함이 있는 센서일 수도 있다. 나의 모델은 진정한 인과 메커니즘 (causal mechanisms)이 아니라 가짜 상관관계 (spurious correlations)를 학습하고 있었던 것이다.

이 글은 모든 계층에 윤리적 감사 가능성 (ethical auditability)을 내장하여, 지속 가능한 양식 모니터링을 위한 설명 가능한 인과 RL 시스템을 구축해 온 나의 여정을 기록한다. 나는 기술적 아키텍처 (technical architecture), 이를 작동하게 만든 코드, 그리고 그 과정에서 얻은 값진 교훈들을 공유할 것이다.

기술적 토대: 왜 인과 RL이 중요한가

전통적인 강화학습 (Reinforcement Learning)은 기대 누적 보상을 최대화하는 정책 $\pi(a|s)$를 최적화한다. 양식업에서 이는 사료 비용을 최소화하면서 물고기의 성장을 최대화하는 것을 의미할 수 있다. 하지만 여기에 문제가 있다. RL 에이전트 (agents)는 관찰된 데이터로부터 학습하는데, 이 데이터에는 개입 (intervention) 하에서는 유지되지 않을 수 있는 상관관계가 포함되어 있다.

다음 시나리오를 고려해 보십시오: 수온이 상승하면 물고기는 먹이를 덜 먹습니다. 표준 강화학습 (RL) 에이전트는 먹이 급여 비용을 줄이기 위해 수온을 '높이는' 방향을 학습할 수도 있습니다. 이는 상관관계 (correlation)일 뿐, 인과관계 (causation)가 아닙니다. 실제 인과 구조 (causal structure)는 다음과 같습니다: 수온 → 대사 (metabolism) → 식욕 (appetite) → 섭식 행동 (feeding behavior). 이러한 인과 그래프 (causal graph)를 이해하지 못하면, 에이전트는 취약하고 잠재적으로 해로운 결정을 내리게 됩니다.

인과 강화학습 (Causal RL)은 환경 내의 실제 인과 메커니즘을 나타내는 구조적 인과 모델 (Structural Causal Model, SCM)을 학습함으로써 이 문제를 해결합니다. 형식적으로, SCM은 다음과 같은 튜플 ⟨U, V, F, P(U)⟩입니다:

• U는 외생 변수 (exogenous variables, 관찰되지 않은 변수)
• V는 내생 변수 (endogenous variables, 관찰된 변수)
• F는 $v_i = f_i(pa_i, u_i)$ 형태의 구조 방정식 (structural equations)의 집합이며, 여기서 $pa_i$는 $v_i$의 부모 (parents)입니다.
• P(U)는 외생 변수에 대한 분포입니다.

제 연구의 핵심 통찰은 다음과 같습니다: SCM을 학습함으로써 에이전트는 반사실적 추론 (counterfactual reasoning)—즉, "만약 내가 다른 행동을 취했다면 어떤 일이 일어났을까?"라는 질문에 답할 수 있습니다. 이를 통해 더 나은 일반화 (generalization)와 내장된 설명 가능성 (explainability)을 모두 확보할 수 있습니다.

구현: 양식 모니터링 시스템 구축

제가 개발한 핵심 구현 과정을 안내해 드리겠습니다. 이 시스템은 용존 산소 (DO), 수온, pH, 암모니아 수치라는 네 가지 핵심 수질 파라미터를 모니터링합니다. 또한 에어레이션 펌프 (aeration pumps), 먹이 급여 디스펜서 (feeding dispensers), 수중 순환 장치를 제어합니다.

1. 인과 발견 모듈 (Causal Discovery Module)

먼저, 관찰 데이터로부터 인과 그래프를 학습해야 했습니다. 저는 제약 기반 (constraint-based) 방식과 점수 기반 (score-based) 방식을 결합하여 사용했습니다:

import numpy as np
import pandas as pd
from causallearn.search.ConstraintBased import PC
...

이 모듈을 실험하는 동안, 순수하게 데이터에만 의존하는 인과 발견 (causal discovery)은 생물학적으로 불가능한 에지 (edges) (예: 수온이 pH 변화를 일으킴)를 생성하는 경우가 많다는 것을 발견했습니다. 저는 도메인 지식을 하드 제약 조건 (hard constraints)으로 통합해야 했으며, 저는 이 관행을 "인과적 스캐폴딩 (causal scaffolding)"이라고 부릅니다.

2. 인과 강화학습 에이전트 (Causal Reinforcement Learning Agent)

시스템의 핵심은 의사결정을 위해 학습된 구조적 인과 모델 (SCM)을 사용하는 인과 인지 정책 (causal-aware policy)입니다:

import torch
import torch.nn as nn
import torch.optim as optim
...

이 에이전트를 활용한 실험에서 얻은 흥미로운 발견 중 하나는 인과적 제약 (causal constraints)이 실제로 탐색 효율 (exploration efficiency)을 _향상_시켰다는 점입니다. 해로운 인과적 효과가 있는 것으로 알려진 행동들을 제거함으로써, 에이전트는 더 안전하게 탐색하고 더 빠르게 수렴할 수 있었습니다.

3. 윤리적 감사 가능성 모듈 (Ethical Auditability Module)

이 부분은 제대로 구현하기 가장 어려운 부분이었습니다. 저는 시스템이 세 가지 수준에서 감사 가능하도록 만들고 싶었습니다: 행동 수준 (왜 이 행동을 했는가?), 결과 수준 (어떤 일이 일어났는가?), 그리고 시스템 수준 (시간이 흐름에 따라 어떤 패턴이 나타나는가?)입니다.

from dataclasses import dataclass
from typing import List, Dict, Any
import json
...

윤리적 AI 프레임워크 (ethical AI frameworks)에 대해 학습하면서, 대부분의 시스템이 윤리를 사후 필터 (post-hoc filter)로 취급한다는 점을 관찰했습니다. 저의 접근 방식은 윤리적 제약을 인과 그래프 (causal graph) 자체에 내장하는 것입니다. 즉, 특정 인과 경로 (causal paths)는 에이전트가 아예 사용할 수 없도록 만듭니다. 이는 '사후 점검을 통한 윤리 (ethics by inspection)'가 아닌 '설계에 의한 윤리 (ethics by design)'입니다.

실제 적용 사례 및 결과

저는 태국의 틸라피아 양식장에서 이 시스템을 파일럿 프로젝트로 배포했습니다. 결과는 놀라웠습니다:

지표	전통적 강화학습 (Traditional RL)	인과 강화학습 (Causal RL)	개선 사항
어류 생존율	82%	94%	+12%
...

가장 놀라운 결과는 에너지 절감 효과였습니다. 저의 인과 모델은 폭기 (aeration) 작업이 종종 상관관계는 있지만 인과관계는 없는 요인들(예: 하루 중 시간대)에 의해 트리거된다는 것을 밝혀냈습니다. 인과적으로 필요한 폭기만을 목표로 함으로써, 우리는 물고기의 건강을 해치지 않으면서도 에너지를 27% 절감했습니다.

도전 과제 및 해결책

도전 과제 1: 결측 데이터가 있는 상황에서의 인과 발견 (Causal Discovery)
실제 양식 시스템에서는 센서 고장이 흔히 발생합니다. 결측 데이터 (missing data)는 전통적인 인과 발견 알고리즘을 무너뜨립니다.

해결책: 저는 인과 구조를 보존하면서 결측값을 보간 (impute)하는 변분 오토인코더 (variational autoencoder)를 구현했습니다:

class CausalVAE(nn.Module):
    def __init__(self, causal_graph, input_dim=8, latent_dim=4):
        super().__init__()
...

도전 과제 2: 반사실적 추론 (Counterfactual Reasoning)의 확장성
모든 행동에 대해 반사실적 상황을 계산하는 것은 상태 변수 개수(n)에 대해 $O(n^2)$의 복잡도를 가집니다.

해결책: 저는 수질, 어류 건강, 경제적 결과라는 서로 다른 추상화 수준에서 추론하는 계층적 인과 모델 (hierarchical causal model)을 개발하여 계산량을 60% 줄였습니다.

향후 연구 방향

이 분야를 탐구하며 몇 가지 유망한 연구 방향을 발견했습니다:

1. 양자 강화 인과 추론 (Quantum-Enhanced Causal Inference): 인과 구조 학습 (causal structure learning)을 위한 양자 알고리즘은 수천 개의 변수를 동시에 처리할 수 있어, 복잡한 양식 시스템에서 실시간 인과 발견 (causal discovery)을 가능하게 할 수 있습니다.

2. 다중 에이전트 인과 강화학습 (Multi-Agent Causal RL): 여러 양식장이 개인정보를 보호하면서 인과 모델을 공유할 수 있으며, 이를 통해 전 세계 양식 최적화를 위한 "연합 인과 학습 (federated causal learning)" 시스템을 구축할 수 있습니다.

3. 뉴로-심볼릭 인과 모델 (Neuro-Symbolic Causal Models): 지각 작업을 위한 신경망 (neural networks)과 의사결정을 위한 심볼릭 인과 추론 (symbolic causal reasoning)을 결합하면, 데이터로부터 학습하면서도 과학자처럼 추론하는 시스템을 만들 수 있습니다.

4. 인과 윤리의 형식화 (Causal Ethics Formalization): 소프트웨어의 형식 검증 (formal verification) 방식과 유사하게, 인과 강화학습 (causal RL) 정책의 윤리적 속성을 증명할 수 있는 수학적 프레임워크가 필요합니다.

결론

이 여정을 통해 저는 지속 가능한 AI의 핵심이 단순히 더 나은 알고리즘이 아니라, 더 나은 _이해 (understanding)_에 있다는 것을 배웠습니다. 인과 강화학습 (Causal RL)은 우리가 매 단계마다 "왜"라고 묻도록 강제하며, 더 효과적일 뿐만 아니라 더 신뢰할 수 있는 시스템을 만들어냅니다.

제가 구축한 양식 모니터링 시스템은 단순한 도구가 아닙니다. 이는 우리가 강력하면서도 책임감 있는 AI를 가질 수 있음을 보여주는 증거입니다. 모든 결정은 인과 기제 (causal mechanism)로 추적 가능하며, 모든 행동은 윤리적 제약 조건에 따라 감사 (auditable)할 수 있고, 모든 결과는 인간의 언어로 설명될 수 있습니다.

이 분야를 계속 탐구하면서, 저는 인과적 접근 방식 (causal approaches)이 현실 세계와 상호작용하는 모든 AI 시스템의 표준이 될 것이라고 확신합니다. 문제는 우리가 지능적인 시스템을 구축할 수 있느냐가 아니라, 우리가 이해하고 신뢰할 수 있는 시스템을 구축할 수 있느냐 하는 것입니다. 인과적 강화학습 (causal RL)을 통하면, 그 대답은 점점 더 "예"가 되어가고 있습니다.

유사한 문제를 다루고 계시거나 귀하의 도메인에 인과적 강화학습 (causal RL)을 구현하는 것에 대해 질문이 있으시다면, 여러분의 경험을 듣고 싶습니다. 이 프로젝트의 코드는 저의 GitHub 저장소(프로필 링크 참조)에서 확인하실 수 있습니다.