사용자 학습을 고려한 장기 효과 및 생애 가치 추정 방법론

스트리밍 플랫폼 환경에서 사용자 이탈(churn)은 막대한 비용을 발생시키기 때문에, 제품 개선을 위한 A/B 테스트의 결과 분석이 매우 중요합니다. 그러나 기존의 A/B 테스트는 제한된 실험 기간 내 관측된 결과에 의존하는 경향이 있어 근본적인 한계를 가집니다.

특히, 단기적 참여도와 예측된 장기적 참여도를 모두 고려하더라도, 사용자의 실제 이탈(retention)에 미치는 영향을 완전히 포착하지 못할 수 있습니다. 그 결과, 어떤 개입(intervention)이 단기적으로는 유익해 보이고 장기적으로는 중립적인 것처럼 보이더라도, 사용자 이탈로 인해 통제 그룹 대비 총 가치(total value)가 오히려 낮아지는 상황이 발생할 수 있습니다.

본 논문은 이러한 한계를 극복하기 위해, 사용자 학습(user learning) 효과를 고려하여 장기 치료 효과(Long-Term Treatment Effects, LTE)와 잔여 생애 가치 변화($ΔERLV$)를 추정하는 방법을 제안합니다. 이 방법론의 핵심은 다중 코호트 A/B 테스트 환경에서 시간 변화에 따른 처리 효과를 효율적으로 추정하는 것입니다.

이를 위해, 여러 코호트의 추정치를 결합하는 **역분산 가중 추정량(inverse-variance weighted estimator)**을 도입하여 기존 문헌의 표준 접근 방식 대비 분산을 크게 줄였습니다. 이로써 보다 정밀한 효과 측정이 가능해집니다.

나아가, 추정된 치료 궤적(treatment trajectory) 전체를 매개변수 감쇠(parametric decay) 형태로 모델링합니다. 이 과정을 통해 단순히 현재 시점의 효과뿐만 아니라, 시간이 지남에 따라 발생하는 점근적 처리 효과(asymptotic treatment effect)와 누적되는 총 가치 변화($ΔERLV$)를 동시에 복구할 수 있습니다.

이 프레임워크는 단일 실험 내에서 **정상 상태 영향(steady-state impact)**과 **잔여 사용자 가치(residual user value)**를 동시에 평가할 수 있게 함으로써, 제품 의사결정의 정확도를 획기적으로 높입니다. 실증적 결과에 따르면, 제안된 방법론은 LTE와 $ΔERLV$ 추정에서 개선된 정밀도를 보여주었으며, 단기 또는 장기 지표 중 어느 하나에만 의존할 경우 잘못된 제품 결정으로 이어질 수 있는 시나리오들을 명확히 식별해냈습니다.