DPO와 RLHF의 조건부 동등성: 암묵적 가정, 실패 모드 및 증명 가능한 정렬

요약

본 논문은 DPO와 RLHF 사이의 이론적 동등성이 특정 암묵적 가정 하에서만 성립하는 조건부적 관계임을 증명합니다. RLHF-최적 정책이 인간의 선호도를 반드시 따를 것이라는 가정이 깨질 경우, DPO는 인간의 선호가 아닌 참조 정책 대비 상대적 이점만을 최적화하는 병리적 수렴 문제를 겪을 수 있습니다. 이를 해결하기 위해 저자들은 제약 조건을 추가하여 증명 가능한 정렬을 제공하는 CPO(Constrained Preference Optimization)를 제안합니다.

핵심 포인트

• DPO와 RLHF의 이론적 동등성은 RLHF-최적 정책이 인간의 선호도를 따른다는 가정에 의존함
• 해당 가정이 위반될 경우 DPO는 인간의 선호도와 무관하게 손실 함수를 감소시키는 병리적 수렴이 발생할 수 있음
• DPO는 잠재적으로 음수 타겟을 가진 마진 랭킹을 구현하는 기하학적 특성을 가짐
• 새로운 방법론인 CPO를 통해 단순성을 유지하면서도 증명 가능한 정렬과 최첨단 성능을 달성함