실시간 창고 분류기 최적화를 위한 베이지안 컨텍스트ual 밴딧(Bayesian Contextual Bandits) 비교 연구

자동화된 물류 취급 시스템(MHS, Material Handling Systems)의 효율적인 분류기 분기 제어는 대규모 창고 환경에서 운영 효율성을 최적화하는 데 매우 중요합니다. 본 연구에서는 물동량(volume mode), 혼잡도(congestion level), 장비의 물리적 상태, 상류/하류 의존성(upstream/downstream dependencies)과 같이 매우 역동적인 시스템 컨텍스트에 적응하지 못하는 정적 가중치 설정 기반의 비용 함수를 사용하는 대규모 이커머스 창고의 입고 분류기를 주요 사례로 사용합니다. 이러한 실시간 분류기 분기 최적화 과제를 해결하기 위해, 세 가지 후보 하이브리드 머신러닝 프레임워크인 경사 하강법 최적화를 결합한 선형 회귀(LR+GDO, Linear Regression with Gradient Descent Optimization), 베이지안 최적화를 결합한 XGBoost(XGB+BO, XGBoost with Bayesian Optimization), 그리고 베이지안 컨텍스트ual 밴딧(BCB, Bayesian Contextual Bandits)에 대한 비교 연구를 수행했습니다. 모델 학습 및 평가는 콜드 스타트(cold-start) 문제를 극복하고 오프라인에서 온라인 학습으로의 안전한 전환을 가능하게 하기 위해 고충실도 물리 인식 에뮬레이터(high-fidelity physics-aware emulator)를 활용하여 수행되었습니다. 우리는 보상 모델 예측 정확도(reward model predictive accuracy), 컨텍스트 민감도(contextual sensitivity), 행동 분포(action distribution), 그리고 예상 보상 상승(projected reward uplift)을 포함한 종합적인 평가를 실시했습니다. 연구 결과, 트리 기반(tree-based) 보상 모델이 약간 더 나은 예측력을 제공하는 반면, BCB 프레임워크는 휴리스틱 베이스라인(heuristic baseline) 대비 2.03%의 보상 상승을 기록하며 전반적으로 더 높은 성능을 달성했습니다. 또한, BCB는 뱅뱅 제어 이론(Bang-Bang control theory)에 기반한 결정적인 시간 최적 정책(time-optimal policy), 지속적인 온라인 학습 능력, 탐색(exploration)과 활용(exploitation) 사이의 전략적 균형, 그리고 현저히 짧은 추론 지연 시간(inference latency)과 같은 여러 우수한 특성을 보여줍니다. 이러한 결과는 대규모 창고 환경의 실시간 제어 최적화를 위한 BCB 프레임워크의 잠재력을 입증하며, 향후 운영 배포를 위한 추가 연구의 동기를 부여합니다.