일반 선호도 강화학습 (General Preference Reinforcement Learning)

요약

본 논문은 LLM 정렬(alignment)의 두 가지 주요 경로인 온라인 RL과 선호도 최적화 간의 격차를 해소하기 위해 일반 선호도 강화학습(GPRL)을 제안합니다. GPRL은 응답을 다차원 부분 공간에 임베딩하고, 불완전한 스칼라 보상 대신 구조화된 비교 기반의 일반 선호도 모델(GPM)을 사용합니다. 이를 통해 단일 축 착취나 보상 해킹에 강인하며, AlpacaEval 2.0에서 높은 성능을 달성하여 기존 방법론들을 능가함을 입증했습니다.

핵심 포인트

• LLM 정렬의 한계: 온라인 RL은 프로그램적 검증기에 의존하고, 선호도 최적화는 지속적인 탐색에 어려움이 있습니다.
• GPRL 제안: 응답을 다차원 부분 공간에 임베딩하고 구조화된 비교(General Preference Model)를 사용하여 일반 선호도를 모델링합니다.
• 강인한 학습 메커니즘: GPRL은 차원별 상대적 이점 계산, 자체 스케일 정규화, 폐쇄 루프 드리프트 모니터 등을 통해 단일 축 착취와 보상 해킹에 저항합니다.
• 성능 입증: Llama-3-8B-Instruct를 기반으로 AlpacaEval 2.0에서 높은 승률을 달성하며 기존 방법론(SimPO, SPPO)보다 우수한 성능을 보여줍니다.