Circular Manufacturing Supply Chain and AI Simulation

실시간 정책 제약 조건 하의 순환 제조 공급망을 위한 생성형 시뮬레이션 벤치마킹

한 가지 좌절스러운 역설에서 시작되었습니다. 저는 폐쇄 루프(closed-loop) 제조 공급망 — 반품된 제품이 재정비되어 다시 생산 공정에 투입되는 형태 — 을 최적화하기 위한 강화학습 (Reinforcement Learning, RL) 에이전트를 구축하고 있었습니다. 제 에이전트는 시뮬레이션 상에서는 폐기물을 22% 줄이고 원자재 비용을 18% 절감하며 훌륭하게 작동했습니다. 하지만 실제 시설의 라이브 디지털 트윈 (Digital Twin)에 이를 배포하자, 시스템이 붕괴되었습니다. 에이전트가 생성한 정책들은 환경 준수 시간(environmental compliance windows)을 위반했고, 규제 보고 마감일을 놓쳤으며, 배출량 제한(emissions caps)으로 인해 특정 시간대에만 특정 재료를 처리할 수 있다는 사실을 완전히 무시했습니다.

저는 몇 주 동안 디버깅(debugging)에 매달렸고, 원인은 신경망 구조(neural network architecture)나 보상 형성 (reward shaping)이 아니었습니다. 바로 시뮬레이션 자체였습니다. 저는 순환 제조 (circular manufacturing)의 역동적이고 정책 제약이 있는 현실을 포착하지 못하는, 정적이고 미리 계산된 시나리오를 대상으로 벤치마킹 (benchmarking)을 하고 있었던 것입니다. 그 경험은 저를 깊은 탐구의 길로 이끌었고, 현재 제가 **생성형 시뮬레이션 벤치마킹 (Generative Simulation Benchmarking)**이라 부르는 프레임워크를 만들게 되었습니다. 이는 생성형 AI (Generative AI), 실시간 정책 제약 인코딩 (real-time policy constraint encoding), 그리고 적응형 시나리오 합성 (adaptive scenario synthesis)을 결합하여 실제 운영 현실을 반영하는 평가 환경을 구축하는 프레임워크입니다.

이 글에서 저는 제가 배운 것, 작성한 코드, 겪었던 실패들, 그리고 마침내 작동했던 아키텍처 (architecture)를 공유하고자 합니다. 이것은 이론적인 개요가 아닙니다. 실시간 제약 조건 하의 순환 공급망을 위한 벤치마킹 시스템을 구축, 테스트 및 반복하며 겪은 실전 기록입니다.

전통적인 시뮬레이션 벤치마킹의 문제점

제 해결책을 살펴보기 전에, 왜 전통적인 방식들이 실패하는지 명확히 짚고 넘어가겠습니다. SimPy나 AnyLogic과 같은 표준 공급망 시뮬레이터(supply chain simulators)는 수요 변동, 리드 타임(lead times), 장비 고장과 같은 확률적 과정(stochastic processes)을 모델링하는 데 매우 뛰어납니다. 하지만 이들은 정책 제약 조건(policy constraints)을 정적인 파라미터(static parameters)로 취급합니다. 즉, 제약 조건을 정의하면 그것이 고정된 규칙으로서 시뮬레이션에 내장되는 방식입니다.

순환 제조(circular manufacturing)에서 제약 조건은 _동적(dynamic)_입니다. 다음과 같은 예시를 고려해 보십시오:

• 누적 배출량에 따라 매월 재설정되는 탄소 배출권 임계값 (Carbon credit thresholds)
• 회수된 재료의 시장 가격에 따라 조정되는 재활용 할당량 (Recycling quotas)
• 교대 근무 일정 및 노조 협약에 따라 변동되는 노동 가용성 시간대 (Labor availability windows)
• 위반 시 감사를 트리거하는 규제 준수 마감일 (Regulatory compliance deadlines)

순환 공급망을 위한 시뮬레이션 기반 벤치마킹(simulation-based benchmarking)에 관한 문헌을 조사했을 때, 저는 계속해서 동일한 벽에 부딪혔습니다. 논문들은 고전적인 Beer Game이나 일반적인 벤치마크 문제와 같은 정적 데이터셋을 대상으로 제안된 알고리즘을 검증하곤 했습니다. 이러한 평가 방식은 알고리즘이 단순화된 세계에서 어떻게 작동하는지는 알려주지만, 제약 조건이 실시간으로 변하는 실제 시설에서 어떻게 작동할지는 알려주지 않습니다.

하지만 에이전트형 AI(agentic AI) 시스템을 탐구하면서 흥미로운 점을 발견했습니다. AI 에이전트가 동적 환경에 적응하도록 만드는 데 사용되는 동일한 기술들 — 커리큘럼 학습 (curriculum learning), 생성적 적대 훈련 (generative adversarial training), 제약 조건 인지 보상 형성 (constraint-aware reward shaping) — 이 더 나은 벤치마크 자체를 만드는 데 재사용될 수 있다는 사실입니다. "내 알고리즘이 이 고정된 시나리오에서 어떻게 작동하는가?"라고 묻는 대신, "내 알고리즘이 실시간 정책 제약 조건을 준수하며 동적으로 생성된 시나리오 분포 전반에서 어떻게 작동하는가?"라고 물을 수 있습니다.

생성형 시뮬레이션: 핵심 개념

핵심 아이디어는 보기보다 매우 단순합니다. 시뮬레이션 시나리오를 수동으로 설계하는 대신, 생성 모델 (Generative Model)을 사용하여 시나리오를 생성하는 것입니다. 하지만 이 생성 모델은 임의의 시나리오를 만들어내는 것이 아니라, 다음과 같은 특성을 가진 시나리오를 생성합니다:

1. 물리적으로 타당함 (Physically plausible) (물질 흐름 보존 및 용량 제한 준수)
2. 정책 제약 조건 준수 (Policy-constrained) (실시간 규제 및 운영 제약 조건 준수)
3. 적대적으로 도전적임 (Adversarially challenging) (벤치마킹 대상인 알고리즘의 약점을 탐색)

이는 흥미로운 피드백 루프 (Feedback loop)를 형성합니다. 생성 모델은 알고리즘에 도전하는 시나리오를 생성하는 법을 배우고, 알고리즘은 그러한 시나리오를 처리하는 법을 배웁니다. 이로 인해 벤치마크는 공진화 시스템 (Co-evolutionary system)이 됩니다.

이 접근 방식을 실험하던 중, 양자 컴퓨팅 (Quantum computing)과의 아름다운 연결 고리를 발견했습니다. 유효한 순환 공급망 시나리오를 생성하는 핵심인 제약 조건 충족 문제 (Constraint satisfaction problem)는 일반적인 경우 NP-hard에 해당합니다. 작은 규모의 사례에서는 고전적 솔버 (Classical solvers)가 잘 작동합니다. 하지만 수백 개의 물질 유형, 다수의 회수 경로, 그리고 실시간 정책 제약 조건이 결합되면 탐색 공간 (Search space)이 폭발적으로 증가합니다. 양자 어닐링 (Quantum annealing)과 QAOA (Quantum Approximate Optimization Algorithm)는 제약 조건을 충족하는 최적에 가까운 시나리오를 찾는 잠재적인 경로를 제공하지만, 저의 실험은 지금까지 고전적 근사치 (Classical approximations)에 국한되었습니다.

아키텍처 개요 (Architecture Overview)

여러 번의 반복 과정을 거쳐 최종적으로 결정한 아키텍처를 설명해 드리겠습니다. 시스템은 네 가지 주요 구성 요소로 이루어져 있습니다:

class GenerativeSimulationBenchmark:
    def __init__(self, supply_chain_model, policy_engine, generator, evaluator):
        self.supply_chain_model = supply_chain_model  # 물리적 시스템의 시뮬레이터
...

여기서 핵심적인 통찰은 피드백 루프 (feedback loop)입니다. 생성기 (generator)는 단순히 무작위 시나리오를 만드는 것이 아니라, 테스트 중인 알고리즘의 약점을 드러내도록 점점 더 맞춤화된 시나리오를 생성합니다. 이는 이 벤치마크를 정적 벤치마크 (static benchmarks)가 결코 도달할 수 없는 방식으로 적응적 (adaptive)이고 스트레스가 많은 (stressful) 형태로 만듭니다.

정책 제약 조건 인코딩 (Policy Constraint Encoding)

시스템의 핵심은 실시간 정책 제약 조건 (real-time policy constraints)을 어떻게 인코딩하느냐에 있습니다. 실험을 통해 저는 하이브리드 접근 방식이 가장 효과적이라는 것을 발견했습니다. 즉, 하드 제약 조건 (hard constraints, 절대 위반해서는 안 되는 사항)에는 정식 제약 언어 (formal constraint language)를 사용하고, 소프트 제약 조건 (soft constraints, 최소화해야 하지만 절대적이지는 않은 사항)에는 학습된 페널티 함수 (learned penalty functions)를 사용하는 것입니다.

제가 구축한 정책 엔진은 다음과 같습니다:

from dataclasses import dataclass
from typing import Dict, List, Callable
import numpy as np
...

순환 제조 (circular manufacturing)에서의 실시간 정책 제약 조건에 대한 구체적인 예시는 다음과 같습니다: 전자 부품을 재정비(refurbish)하는 시설을 가정해 봅시다. 제약 조건은 재정비 프로세스에서 발생하는 총 에너지 소비량이 월간 상한선을 초과할 수 없다고 명시할 수 있지만, 이 상한선은 재활용 프로그램을 통해 획득한 재생 에너지 크레딧 (renewable energy credits)에 따라 재설정됩니다.

def create_energy_credit_constraint(max_monthly_energy, credits_per_ton_recycled):
    def check_fn(state):
        monthly_energy = state['cumulative_metrics']['monthly_energy_kwh']
...

이 제약 조건은 시설이 더 많은 재료를 재활용함에 따라 유효 상한선이 증가하기 때문에 동적 (dynamic)입니다. 정적 벤치마크는 이 부분을 완전히 놓칠 것입니다.

시나리오 합성을 위한 생성 모델 (The Generative Model for Scenario Synthesis)

가장 어려웠던 부분은 현실적이고 제약 조건을 준수하는 시나리오를 생성하는 생성 모델 (generative model)을 구축하는 것이었습니다. 여러 접근 방식을 탐구했지만, 가장 효과적이었던 방식은 조건부 변이형 오토인코더 (conditional variational autoencoder, CVAE)를 제약 충족 후처리 레이어 (constraint-satisfaction post-processing layer)와 결합한 것이었습니다.

import torch
import torch.nn as nn

...

조건 벡터(condition vector)는 남은 탄소 예산(carbon budget), 현재 재활용률, 노동 가용성, 규제 마감일과 같은 현재 정책 상태를 인코딩합니다. 생성기(generator)는 이러한 조건들과 일치하는 시나리오를 생성하도록 학습됩니다.

하지만 여기서 중요한 부분이 있습니다. CVAE의 가공되지 않은 출력(raw output)이 제약 조건 충족을 보장하지는 않는다는 점입니다. 바로 이 지점에서 후처리 계층(post-processing layer)이 등장합니다. 저는 생성된 시나리오가 엄격한 제약 조건(hard constraints)을 충족하도록 조정하는 미분 가능한 제약 조건 투영 계층(differentiable constraint projection layer)을 사용합니다.

class ConstraintProjectionLayer(nn.Module):
    def __init__(self, policy_engine, projection_steps=10):
        super().__init__()
...

시뮬레이션을 위한 생성 모델(generative models)을 연구하면서, 저는 투영 계층(projection layer)이 종종 병목 현상(bottleneck)이 된다는 것을 발견했습니다. 고차원 상태 공간(high-dimensional state spaces)에서 유한 차분(finite-difference) 기울기 계산은 느립니다. 저는 이를 가속화하기 위해 학습된 제약 조건 위반 예측기(learned constraint-violation predictor)를 사용하는 실험을 진행했지만, 제 사용 사례에서는 정확도와 성능 사이의 트레이드오프(trade-off)가 그만한 가치가 없었습니다. 실제 운영 시스템(production systems)의 경우, 미분 가능한 제약 조건 솔버(differentiable constraint solver)나 모방 학습(imitation learning)을 통해 학습된 학습형 투영 네트워크(learned projection network)를 사용할 것을 권장합니다.

적대적 시나리오 생성 (Adversarial Scenario Generation)

제 실험에서 발견한 가장 흥미로운 결과 중 하나는 적대적 생성(adversarial generation)의 힘이었습니다. 단순히 '유효한' 시나리오를 생성하는 대신, 벤치마킹 대상이 되는 알고리즘에 '도전적인' 시나리오를 생성하고자 하는 것입니다. 이는 벤치마킹 프로세스를 하나의 게임으로 바꿉니다.

class AdversarialScenarioGenerator:
    def __init__(self, generator, discriminator, policy_engine):
        self.generator = generator
...

이러한 적대적 접근 방식은 벤치마크가 정체되지 않도록 보장합니다. 알고리즘이 개선됨에 따라 생성기는 더 어려운 시나리오를 만드는 법을 배우며, 이는 알고리즘의 추가적인 개선을 강제합니다. 이는 규제 압박 속에서 실제 공급망이 더 효율적으로 변하는 방식을 반영하는 지속적인 공동 진화(co-evolution)입니다.

순환 제조를 위한 벤치마킹 지표 (Benchmarking Metrics for Circular Manufacturing)

순환 경제 지표 (circular economy metrics)를 연구하면서, 전통적인 공급망 KPI (적기 인도 (on-time delivery), 재고 회전율 (inventory turns), 비용 (cost))만으로는 불충분하다는 것을 깨달았습니다. 순환 제조 (circular manufacturing)는 폐쇄 루프 시스템 (closed-loop system)의 건전성을 포착할 수 있는 추가적인 지표를 필요로 합니다:

def compute_circularity_metrics(simulation_results):
    metrics = {}

...

실제 응용 사례 및 케이스 스터디 (Real-World Applications and Case Study)

실제 순환 공급망 (circular supply chains)을 조사하는 동안, 저는 전자제품 재정비 (electronics refurbishment) 산업에 집중했습니다. 이 분야는 다음과 같은 특징 때문에 특히 흥미롭습니다:

1. 복잡한 물질 흐름 (Complex material flows) (귀금속, 희토류 원소, 유해 물질)
2. 엄격한 규제 (Stringent regulations) (EU의 WEEE 지침, 다양한 주 단위의 전자 폐기물 법률)
3. 실시간 가격 역학 (Real-time pricing dynamics) (회수된 재료에 대한 원자재 가격)
4. 높은 불확실성 (High uncertainty) (반품률, 반품된 제품의 품질)

저는 중형 전자제품 재정비 시설의 디지털 트윈 (digital twin)을 구축하였고, 이를 사용했습니다.