소프트맥스 다중 팔트 밴디트 (MAB) 를 위한 소멸하는 L2 정규화

요약

본 논문은 다중 팔트 밴디트(MAB) 알고리즘의 최적 정책을 규정하는 데 사용되는 소프트맥스 매핑 기반 접근법을 개선합니다. 기존 연구들이 평균 보상에서 L2 정규화를 적용한 소프트맥스 정책 경사(L2 regularized softmax policy gradient)를 다루었으나, 정규화 파라미터가 소멸할 때의 수렴성 분석에 어려움이 있었습니다. 본 연구는 이 문제에 대한 이론적 수렴 결과를 증명하고, 표준 벤치마크에서 해당 방법론의 수치적 우수성을 실험적으로 입증합니다.

핵심 포인트

• MAB 알고리즘은 강화 학습(RL)의 핵심 요소이며, 소프트맥스 매핑이 정책 결정에 일반적으로 사용된다.
• 본 연구는 평균 보상에서 2차 항을 빼는 L2 정규화된 소프트맥스 정책 경사(L2 regularized softmax policy gradient)를 제안한다.
• 기존 연구의 한계점인 '정규화 파라미터가 소멸할 때의 수렴성' 문제를 이론적으로 해결하고 증명했다.
• 제안된 방법론이 표준 벤치마크에서 L2 정규화를 통해 수치적으로 우수함을 실험적으로 검증했다.