반사실 시뮬레이터 롤아웃을 통한 예측: Sim2Real 평가

새로운 의사결정 정책을 배포하는 것은 해당 모델의 타겟이 정책의 행동에 의존하는 예측 모델에게 콜드 스타트(cold-start) 문제를 야기합니다. 역사적 관측값은 이전 정책들을 반영하고, 새로운 정책 하에서의 실제 관측값은 아직 이용할 수 없기 때문입니다. 시뮬레이션은 이 격차를 해소하는 방법을 제공하며, 목표 정책을 반사실적(counterfactual) 시나리오 전반에 걸쳐 롤아웃(rolling out)하여 그 결과로 얻은 궤적(trajectories)을 사용하여 시스템이 해당 제어(controls)에 어떻게 반응하는지 학습할 수 있게 합니다. 이렇게 시뮬레이터에서 학습된 모델의 시뮬레이션-현실(Sim2Real) 전이는 과거 배포에서의 실제 관측값들을 평가하여 백테스트(backtest)될 수 있습니다. 저희는 두 가지 실제 재고 관리 배포를 사용하여 이 과정을 세 가지 각도에서 평가했습니다: 시뮬레이터 충실도(simulator fidelity), 실제 행동으로의 제로샷(zero-shot) 전이, 그리고 실제 목표 정책 관측값이 축적됨에 따른 적응입니다. 시뮬레이터에서 학습된 예측기는 동일한 아키텍처를 역사적 실제 데이터로 훈련한 경우보다 더 낮은 점 추정 평균 절대 백분율 오차(MAPE)를 달성했으며, Study 1에서는 MAPE를 1.23.1 퍼센트포인트 감소시켰고, Study 2에서는 12.518.7 퍼센트를 감소시켰습니다. 배포 후에는 초기 실제 관측값을 사용한 경량 보정(lightweight calibration)을 통해 오차를 최대 2.5 퍼센트포인트까지 추가로 줄일 수 있었습니다. 이러한 결과는 시뮬레이터가 생성한 반사실적 데이터가 새로운 정책 하의 콜드 스타트 예측을 지원할 수 있다는 경험적 증거를 제공하며, 그 결과 모델은 실제 배포 데이터가 이용 가능해짐에 따라 추가적으로 개선될 수 있음을 보여줍니다.