오류가 유익할 수 있을 때: 정책 경사 (Policy Gradient) 를 위한 불완전한 보상 분류

요약

본 연구는 언어 모델 학습에서 흔히 사용되는 불완전한 대용 보상(Imperfect Proxy Rewards)의 한계를 다룹니다. 기존 방식은 모든 보상 오류를 유해하게 취급하지만, 본 논문은 참값으로부터의 편차가 항상 부정적이지 않음을 이론적으로 분석합니다. 특히 정책 경사 최적화 과정에서 발생하는 일부 보상 오류는 오히려 모델이 평균적인(mediocre) 성능에 머무르는 것을 방지하여 무해하거나 심지어 유익할 수 있음을 입증했습니다.

핵심 포인트

• 언어 모델 학습은 참값 보상이 어려워 불완전한 대용 보상에 의존한다.
• 보상 오류를 단순히 '유해함'으로만 간주하는 기존의 평가 방식에 도전한다.
• 일부 보상 오류는 정책이 평균적인 성능에 머무르는 것을 방지하여 오히려 긍정적 영향을 줄 수 있다.
• 인간 피드백 기반 강화학습(RLHF)을 위한 새로운 보상 모델 평가 지표를 제안하며, 이는 기존의 순위 정확도보다 언어 모델 성능과 더 잘 상관관계를 보인다.
• 대용 보상 함수의 효과성은 초기 정책 및 학습 알고리즘과의 상호작용에 크게 의존한다.