관측되지 않은 혼란 변수 하에서 역 성향 점수를 이용한 교차 헤드 어텐션 업리프트 네트워크
요약
관측되지 않은 혼란 변수가 존재하는 환경에서 개별 처치 효과(ITE)를 정확히 추정하기 위한 새로운 업리프트 모델링 방법론을 제안합니다. 교차 헤드 어텐션을 활용한 CHAUN과 적대적 역 성향 점수 방식인 RA-IPS를 통해 편향을 완화하고 성능을 극대화했습니다.
핵심 포인트
- CHAUN을 통한 처치군 및 대조군 표현의 동적 통합 및 상관관계 모델링 강화
- RA-IPS를 활용하여 관측되지 않은 혼란 변수로 인한 편향 완화 및 강건성 확보
- 실제 이커머스 데이터셋 실험 결과, 기존 모델 대비 QINI 점수 최대 25.6% 향상
개별 처치 효과 (ITE, Individual Treatment Effects)를 추정하는 데 필수적인 업리프트 모델링 (Uplift modeling)은 두 가지 과제에 직면해 있습니다: 변별력을 높이기 위해 그룹 간 유사성을 유연하게 활용하는 것과, 관측되지 않은 혼란 변수 (Unobserved confounding) 시나리오 하에서 편향을 제거하는 것입니다. 본 논문에서는 이러한 한계를 해결하기 위해 교차 헤드 어텐션 업리프트 네트워크 (CHAUN, Cross-Head Attention Uplift Network)와 강건한 적대적 역 성향 점수 (RA-IPS, Robust Adversarial Inverse Propensity Score) 방법을 제안합니다. CHAUN은 공유된 특징 임베딩 (Feature embeddings)과 교차 헤드 어텐션 (Cross-head attention) 메커니즘을 사용하여 처치군 (Treatment-specific) 및 대조군 (Control-specific) 표현을 동적으로 통합함으로써 그룹 간 상관관계 모델링을 강화합니다. 이론적으로, 우리는 실제 성향 점수 (Propensity scores)에 접근할 수 있다면 관측되지 않은 혼란 변수가 있더라도 ITE 식별 가능성 (Identifiability)이 보장됨을 증명합니다. 실제 성향 점수가 부족한 실무 시나리오를 위해, RA-IPS는 제한된 불확실성 집합 (Uncertainty sets) 내에서 성향 가중치 (Propensity weights)를 적대적으로 최적화하여 관측되지 않은 변수로 인한 편향을 완화합니다. 공개 데이터셋 (CRITEO-UPLIFT, LAZADA) 및 실제 이커머스 데이터셋에 대한 실험 결과, CHAUN은 최신 업리프트 모델들보다 우수한 성능을 보였으며 QINI 점수에서 최대 25.6%의 상대적 향상을 달성했습니다. RA-IPS는 강건성을 더욱 향상시켜, 관측되지 않은 혼란 변수 상황에서 표준 IPS보다 5.4% 더 높은 성능을 기록했습니다. 이러한 결과는 실제 인과 추론 (Causal inference) 작업에서 우리가 제안한 방법론의 효과를 입증합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기