Gradient-Gated DPO: 언어 모델의 선호도 최적화 안정화

요약

본 논문은 대규모 언어 모델의 선호도 최적화(DPO) 과정에서 발생하는 '압축 효과'와 확률 붕괴 문제를 해결하기 위한 새로운 방법인 Gradient-Gated Preference Optimization (Gate-DPO)를 제안합니다. Gate-DPO는 업데이트가 낮은 확률 응답을 목표로 할 때 해로운 그래디언트를 동적으로 감쇠시켜 모델의 훈련 안정성을 높입니다. 실험 결과, Gate-DPO는 기존 DPO 방법이 초래하는 선택 응답의 과도한 집중(압축) 현상을 효과적으로 줄이고 전반적인 확률 분포를 개선하며, 이는 언어 모델 정렬에 더 건강하고 효율적인 최적화 행동을 제공함을 입증했습니다.

핵심 포인트

• DPO는 선호도 학습의 핵심 패러다임이지만, 낮은 확률 응답에서 '압축 효과'와 확률 붕괴 문제를 야기할 수 있다.
• Gate-DPO는 언어 모델의 확률 기하학에 맞춰 거절 그래디언트를 조절하는 게이팅 메커니즘을 도입하여 훈련 안정성을 확보한다.
• 게이트를 통해 해로운 그래디언트가 감쇠되면서, 선택 응답의 과도한 집중(압축) 현상을 효과적으로 완화하고 전체 분포를 개선한다.
• Gate-DPO는 기존 SFT나 IPO 등 다른 정렬 기법과 보완적으로 사용될 수 있으며, 모델 규모와 관계없이 안정적인 최적화를 돕는다.