A/B 테스트는 온라인 서비스에서 더 나은 알고리즘을 선택하기 위한 골드 표준(gold standard)입니다. A/B 테스트의 높은 실험 비용과 사용자 경험 및 수익을 저하시킬 수 있는 잠재적 위험으로 인해, 오프라인 평가(offline evaluation)가 더 안전한 대안으로 주목받고 있지만, 오프라인 평가의 추정 정확도가 실질적으로 더 낮다는 점은 널리 알려져 있습니다. 그 결과, 최종 선택 결정은 일반적으로 A/B 테스트를 통해 이루어집니다. 이러한 전통적인 견해와는 반대로, 우리는 A/B 테스트가 오프라인 평가보다 더 높은 알고리즘 선택 오류율을 생성할 수 있다는 직관에 반하는 현상을 밝혀냅니다. 이는 A/B 테스트에서 사용되는 표본 평균 추정량(sample mean estimator)이 결정적인 선택 오류, 즉 진정으로 우수한 알고리즘을 과소평가하거나 진정으로 열등한 알고리즘을 과대평가하는 오류를 줄이는 데 중요한 양의 상관관계(positive correlation)를 유도하지 않기 때문에 발생합니다. 이와 대조적으로, 오프라인 평가 방법은 여러 알고리즘의 성능을 추정하고 비교할 때 공유된 오프라인 데이터에 의존함으로써 의도치 않게 이러한 유익한 상관관계를 생성합니다. 이러한 통찰을 바탕으로, 우리는 A/B 테스트에서의 알고리즘 선택을 개선하기 위해 의도적으로 양의 상관관계를 유도하는 추정량을 제안합니다. 핵심 아이디어는 가상의 중간 알고리즘(middle algorithm)을 도입하고, 각 단계에서 공유된 데이터를 사용하여 알고리즘 A, M, B 사이의 성능 차이를 단계적으로 추정하는 것입니다. 이 접근 방식은 각 단계에서 오프라인 평가 기술을 적용할 수 있게 하여, 양의 상관관계를 유도하고 결정적인 선택 오류를 줄여줍니다. 나아가, 우리는 결과적인 분산(variance)에 관한 최적의 중간 알고리즘을 도출하고, 편향-분산 분석(bias-variance analysis)을 통해 기존 방법 대비 이점들을 분석합니다. 실제 데이터에 대한 실험을 통해, 우리의 추정량이 A/B 테스트 데이터의 절반만을 사용하면서도 기존 방식과 동일한 선택 오류율을 달성함을 입증합니다.