Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 순차 추천 시스템의 행동 집합을 조정하는 '보정형 가지치기 기반 강화학습(RLCP)'을 제안합니다. 이 방법은 비평가 점수와 온라인 임계값을 사용하여 유지되는 행동 집합을 동적으로 조절하며, 적응적 궤적에 대한 결정론적 상한을 증명했습니다. 실험 결과, RLCP는 기존 기준선 대비 높은 카탈로그 다양성을 달성하는 것으로 나타났습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG (Machine Learning)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기순차 추천 시스템은 세션 내에서 유용한 대안의 수가 변함에도 불구하고 일반적으로 고정된 슬레이트 크기를 사용합니다. 본 논문에서는 비평가 점수(critic scores)와 온라인 임계값(online threshold)을 사용하여 유지되는 행동 집합을 조정하는 '보정형 가지치기 기반 강화학습 (Reinforcement Learning with Calibrated Pruning, RLCP)'을 제안합니다. 이 임계값은 해당 집합이 프록시 타겟 내의 행동을 포함하는지 여부를 나타내는 이진 피드백으로부터 업데이트됩니다. 우리는 적응적 궤적(adaptive trajectories)을 따라 관찰되는 프록시 누락률(proxy miss rate)에 대한 결정론적 상한(deterministic bound)을 증명합니다. 보정형 가지치기가 보상에 미치는 영향을 정량화하기 위해, 가치 손실(value loss)을 필터링 손실(filtering losses)과 선택 손실(selection losses)로 정확하게 분해합니다. 명시적인 프록시 및 비평가 근사 조건 하에서, 이 분해는 학습 매개변수가 수렴할 필요 없이 불완전한 선택과 집합 절단까지 고려하는 유한 세션 보상 상한을 제공합니다. KuaiRand-Pure와 MovieLens 1M에서의 실험은 두 가지 RLCP 구현체와 네 가지 RL 기준선(baselines)을 비교했습니다. 19가지 구성 각각에서, 적어도 하나의 RLCP 변형이 가장 높은 카탈로그 다양성(catalog diversity)을 달성하며, 이는 강력한 기준선의 $1.11 imes$부터 $5.21 imes$에 이르며, 경쟁력 있는 세션 깊이와 더 큰 유지 집합 없이도 이루어졌습니다.