컨텍스트 밴딧 오프라인 평가를 위한 커널 가중 중요 샘플링
요약
본 논문은 컨텍스트 밴딧에 대해 오프라인 데이터만을 활용하여 오프-폴리시 평가를 수행하는 새로운 추정기인 Kernel-WIS를 제안합니다. 이 방법론은 점근적 일관성을 가지며, 행동 정책 사양 오류와 같은 복잡한 조건에서도 기존의 가중 중요 샘플링보다 우수한 성능을 보였습니다.
핵심 포인트
- 컨텍스트 밴딧 오프라인 평가에 새로운 추정기 Kernel-WIS 제시
- Kernel-WIS는 점근적 일관성을 가지며 강력한 기준선 제공
- 행동 정책 사양 오류 등 복잡 조건에서 기존 방법론 능가
본 논문은 컨텍스트 밴딧(contextual bandits)에 대해 오프라인 데이터만을 사용하여 오프-폴리시 평가(off-policy evaluation)를 수행하는 새로운 추정기(estimator)를 제시합니다. 제안된 추정기인 Kernel-WIS는 점근적으로 일관적(asymptotically consistent)이며, 특히 행동 정책 사양 오류(behaviour policy miss-specification)와 같은 복잡한 조건 하에서 강력한 기준선(strong baselines)(바닐라 가중 중요 샘플링 포함)을 경험적으로 능가하는 것으로 입증되었습니다. Kernel-WIS의 장점은 바닐라 가중 중요 샘플링의 유계성(bounded property)과 바닐라 중요 샘플링의 선형성을 결합한 데서 나옵니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0