오프-폴리시 평가 (Off-Policy Evaluation)를 위한 로깅 정책 설계

오프-폴리시 평가 (Off-Policy Evaluation, OPE)는 서로 다른 로깅 정책 (logging policy)에 의해 수집된 데이터를 사용하여 타겟 처치 정책 (target treatment policy, 예: 추천 시스템)의 가치를 추정합니다. 이는 실제 배포 없이도 중대한 실험을 가능하게 하지만, 실제로는 추정치를 계산하기 위해 데이터를 수집하는 데 사용된 로깅 정책에 따라 정확도가 크게 좌우됩니다. 본 연구에서는 주어진 타겟 정책에 대해 OPE 오차를 최소화하는 로깅 정책을 설계하는 방법을 연구합니다. 우리는 근본적인 보상-커버리지 트레이드오프 (reward-coverage tradeoff)를 규명합니다. 즉, 높은 보상을 주는 행동에 확률 질량을 집중시키면 분산 (variance)은 줄어들지만, 타겟 정책이 취할 수 있는 행동에 대한 신호를 놓칠 위험이 있습니다. 우리는 로깅 정책 설계를 위한 통합 프레임워크를 제안하며, 타겟 정책과 보상 분포가 (i) 알려진 경우, (ii) 알려지지 않은 경우, (iii) 로깅 시점에 사전 확률 (priors) 또는 노이즈가 있는 추정치를 통해 부분적으로 알려진 경우와 같은 표준적인 정보 체계 (informational regimes)에서 최적의 정책을 도출합니다. 우리의 결과는 여러 후보 추천 시스템 중에서 선택해야 하는 기업들에게 실행 가능한 지침을 제공합니다. 우리는 OPE를 위한 데이터를 수집할 때 처치 선택 (treatment selection)의 중요성을 입증하며, 이것이 기업의 주요 목표일 때 이론적으로 최적인 접근 방식을 설명합니다. 또한 운영상의 제약으로 인해 이론적 최적치를 구현할 수 없는 경우, 로깅 정책을 선택하기 위한 실질적인 설계 원칙을 정리합니다.