Pair를 넘어서: 언어 모델은 비밀리에 선호도 그래프를 최적화합니다

요약

본 기사는 기존의 직접 선호도 최적화(DPO)가 쌍별 비교에 의존하는 한계를 지적하며, 실제 환경에서 발생하는 풍부한 롤아웃 순위 데이터를 활용하기 위한 새로운 방법론을 제안합니다. 이 방법은 '그래프 직접 선호도 최적화(Graph Direct Preference Optimization, GraphDPO)'를 도입하여, 데이터 내의 복잡한 지배 관계를 방향성 비순환 그래프로 모델링하고 이를 통해 언어 모델 정렬의 정확성과 견고성을 높입니다.

핵심 포인트

• 기존 DPO는 쌍별 비교에 의존하여 롤아웃 순위 데이터가 가진 풍부한 선호도 구조를 활용하지 못하는 한계가 있습니다.
• GraphDPO는 이러한 문제를 해결하기 위해, 방향성 비순환 그래프(DAG) 위에서 작동하며 지배 관계를 엣지로 인코딩합니다.
• GraphDPO는 단순 쌍별 비교를 넘어선 복잡한 선호도 구조를 모델링하여 언어 모델 정렬의 성능을 향상시킵니다.
• 제안된 방법론은 추론 및 프로그램 합성 작업 평가(riment)에서 우수한 성능을 입증했습니다.