보상 비상관 정책 최적화 (Reward-Decorrelated Policy Optimization)를 통한 다중 목적 및 혼합 보상 강화학습

요약

본 논문은 다중 작업 및 혼합 보상 환경에서 발생하는 불안정한 스칼라 어드밴티지 구축 문제를 해결하기 위해 '보상 비상관 정책 최적화(Reward-Decorrelated Policy Optimization, RDPO)'를 제안합니다. RDPO는 크기 인식 분위수 정규화와 마할라노비스 화이트닝을 결합하여 이질적인 보상 분포 전반에 걸쳐 어드밴티지 할당의 안정성을 높입니다. 이를 LongCat-Flash 모델에 적용한 결과, 지시 이행, 글쓰기 품질, 어려운 프롬프트에 대한 강건성이 향상되는 효과를 입증했습니다.

핵심 포인트

• RDPO는 다중 작업 및 혼합 보상 환경에서 불안정한 어드밴티지 구축 문제를 해결하는 새로운 방법론입니다.
• 크기 인식 분위수 정규화(Magnitude-Aware Quantile normalization)를 통해 이진, 분수, 연속 보상에 걸쳐 안정적인 어드밴티지를 할당합니다.
• 마할라노비스 화이트닝(Mahalanobis whitening)을 적용하여 활성 보상 부분 공간 내의 상관관계 중복을 완화합니다.
• RDPO는 LongCat-Flash 모델의 지시 이행, 글쓰기 품질, 어려운 프롬프트에 대한 강건성을 향상시키는 데 효과적입니다.