백색화된 장점 합산 정책 최적화: 다중 보상 강화 학습을 위한 상관관계 인식 집계

언어 모델(LM)을 위한 강화학습은 일반적으로 각 보상을 정규화하고 고정된 가중치로 더하여 여러 보상을 결합합니다. 보상들이 상관관계를 가질 경우, 그들이 공유하는 분산은 해당 분산을 포함하는 모든 보상에 대해 한 번씩 계산됩니다. 보상 신호의 ZCA-비상관(ZCA-decorrelated) 구성 요소 측면에서 볼 때, 가중 합은 선택된 가중치 $w$ 대신 $ ext{Σ}^{1/2} w$를 적용하며, 여기서 $ ext{Σ}$는 보상 상관관계 행렬입니다. 우리는 WAS-PO를 연구했습니다. 이는 정규화된 장점(advantages)을 $ ext{Σ}^{-1/2}$로 백색화한 후 더하여, 선택된 가중치가 해당 구성 요소에 적용되도록 합니다. 우리는 정규화 통계가 고정된 상태에서 따라가는 기울기를 가진 스칼라화 목적 함수를 도출하고, 이 함수의 원시 보상(raw rewards)에 대한 가중치가 음수일 수 있음을 보여주었으며, 가중치가 낮은 보상이 반전되는 정확한 두 가지 보상 조건을 제시했고, 훈련 중 $ ext{Σ}$를 추정하는 것에서 발생하는 오차에 대한 느슨한 상한을 제공했습니다. Qwen2.5-1.5B-Instruct를 사용한 도구 호출(tool calling)에서, WAS-PO는 세 가지 보상 조건의 모든 7개 시드에서 GDPO보다 더 높은 평균 훈련 보상을 달성했으며 (3.8% 높음), 네 가지 보상 조건의 모든 3개 시드에서도 마찬가지였습니다 (3.9% 높음). 또한, WAS-PO는 GDPO의 프롬프트별(per-prompt) 정규화를 배치 수준(batch-level) 정규화로 대체했으며, 우리는 이 두 가지 변경 사항을 세 가지 또는 네 가지 보상 조건에서 분리하여 테스트하지 않았습니다. 훈련 보상의 이득은 홀드아웃 정확도(held-out accuracy)로 이어지지 않았는데, 이는 세 가지 보상 조건에서 GDPO보다 약간 낮았고 (유의미하지 않음), 네 가지 보상 조건에서는 절대적으로 0.03 낮았습니다 (2개 시드 평가). 두 가지 보상 조건에서는 WAS-PO가 훈련 보상 면에서 GDPO에 뒤처졌으며, 세 시드 제어 실험은 이 격차가 백색화(whitening)보다는 배치 수준 정규화에서 비롯되었음을 약하게 시사합니다. 수학적 설정에서 두 보상이 구성상 거의 동일했을 때, WAS-PO는 부호 조건이 예측하는 대로 가중치가 낮은 보상을 낮추었습니다.