Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 고객 개입(NBA)의 장기적 가치 극대화와 운영 제약 충족을 위해 이를 CMDP로 공식화하고, 오프정책 인과 보정을 통합한 RL 프레임워크를 제시합니다. 이 방법론은 비즈니스 가드레일을 명시적으로 강제하며, 라이드셰어 쿠폰 타겟팅 사례에서 LTV를 19% 개선하는 성과를 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG (Machine Learning)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기다음 최적의 행동(Next Best Action, NBA) 시스템은 고객 개입(예: 할인, 프로모션, 라이프사이클 액션) 중에서 선택하고, 장기적인 경제적 가치를 극대화하며, 복잡한 운영 제약을 충족시키고, 인과적으로 근거해야 합니다. 기존 접근 방식들은 이러한 요구사항들을 공동으로 충족시키는 엄격한 프레임워크가 부족합니다. 우리는 NBA를 제약 마르코프 결정 과정(Constrained Markov Decision Process, CMDP)으로 공식화함으로써 이 격차를 해소합니다. 그런 다음 추정된 고객 역학에 대한 오프정책 인과 보정(off-policy causal correction)을 CMDP의 선형 계획법(Linear Programming, LP) 공식에 직접 통합합니다. 그 결과로 도출된 정책은 비즈니스 가드레일을 명시적으로 강제하면서 장기적 가치를 극대화하기 위해 고객 상태를 기반으로 행동을 선택합니다. 더욱이, LP 공식은 운영 제약(예: 공정성 및 사용자 복지)의 경제적 상충 관계를 정량화하는 섀도우 가격(shadow prices)을 산출하여 정책 해석 가능성을 높입니다. 우리는 라이드셰어 쿠폰 타겟팅과 관련된 산업 사례 연구에서 제안된 오프라인 강화학습(Reinforcement Learning, RL) 프레임워크를 검증했습니다. 이 사례에서는 고객 상태가 최근성(Recency), 빈도수(Frequency), 금액(Monetary) (RFM) 단계로 정의되었습니다. 우리는 시간적 홀드아웃(temporal holdout)으로부터 인과 역학을 추정한 모델 기반 오프정책 평가(model-based off-policy evaluation)를 사용하여 성능을 평가했습니다. 관찰된 쿠폰 예산 및 RFM 상태 표현 하에서, 우리의 최적화된 정책은 추정된 행동 정책 대비 고객 생애 가치(LTV)를 19% 개선했으며, 근시안적 기준선(myopic baseline) 대비로는 8% 개선했습니다. 비록 시연된 행동 공간이 이진적이지만, 제안된 프레임워크는 행동에 구애받지 않아 여러 개입을 관리하는 타겟팅 시스템을 위한 범용적인 의사결정 모듈을 제공합니다.