Sim-to-Real Gap을 주의하고 과학자처럼 생각하라

플래너(planner)가 순차적 의사결정 문제(sequential decision problem)에 대해 사전 학습된 시뮬레이터(simulator)를 보유하고 있으며, 현장에서 실제 실험을 수행할 수 있는 선택권이 있다고 가정해 봅시다. 시뮬레이터는 쿼리(query) 비용이 저렴하지만, 캘리브레이션(calibration) 데이터로부터 혼란 변수(confounding)와 드리프트(drift)를 상속받습니다. 실험은 편향되지(unbiased) 않지만, 시도당 하나의 실제 단위(real unit)를 소비합니다. 우리는 플래너가 언제, 그리고 어떻게 시뮬레이터를 실험으로 보완해야 하는지를 연구합니다. 우리는 세 가지 결과를 제시합니다. 첫째, 확장된 시뮬레이션 보조 정리(extended simulation lemma)는 시뮬레이터의 가치 오차(value error)를 무작위화(randomization)를 통해 식별할 수 있는 캘리브레이션-배포 시프트(calibration--deployment shift)와, 더 이상의 상호작용으로도 줄일 수 없는 파라미터 잔차(parametric residual)로 분해합니다. 둘째, 시뮬레이터 최적 정책(simulator-optimal policy)과 최적해(optimum) 사이의 가치 격차(value gap)는 배포된 정책이 이미 방문하는 상태에서의 지역적 구성 요소(local component)와, 방문하지 않는 상태에서의 도달 가능성 구성 요소(reachability component)로 나뉩니다. 도달 가능성 구성 요소는 순수하게 수동적인 학습(passive learning) 하에서는 어떤 호라이즌(horizon)에서도 0에서 떨어진 상태로 유지됩니다. 셋째, 우리는 타겟 정책의 가치에 대한 사후 예측 분산(posterior predictive variance)을 최소화하는 시뮬레이션 보조 실험 정책(Fisher-SEP, simulation-aided experimental policy)을 제안하며, 보상 전용(reward-only) 및 전이 전용(transition-only) 특화 모델을 포함합니다. 두 가지 사례 연구가 이러한 체계(regimes)를 설명합니다. 자판기 공급망 사례에서는, 파일럿(pilot) 비용을 상쇄할 만큼 호라이즌이 충분히 길어지면 초기에 집중된 실험(front-loaded experimentation)이 사후 업데이트(posterior updating)를 앞지릅니다. 감시가 잘 되는 지역과 감시가 잘 되지 않는 지역을 구분하는 통로가 있는 HIV 이동식 검사 사례에서는, 설계된 탐색(designed exploration)만이 감시가 잘 되지 않는 지역에 도달할 수 있습니다.