Pair를 넘어서: 언어 모델은 비밀리에 선호도 그래프를 최적화합니다

직접 선호도 최적화(Direct Preference Optimization, DPO)는 쌍별 선호도 비교를 사용하여 언어 모델을 정렬하며, 인간 피드백 기반 강화학습(Reinforcement Learning, RL)에 간단하고 효과적인 대안을 제공합니다. 하지만 많은 실제 환경에서 훈련 데이터는 프롬프트당 여러 개의 롤아웃으로 구성되어 있으며, 이는 쌍별 DPO가 활용하지 못하는 풍부한 선호도 구조를 유발합니다. 이러한 데이터를 독립적인 쌍으로 축소하면 추이성(transitivity)을 손실하고, 중복되거나 상충되는 지도 학습 신호를 도입하며, 불안정한 최적화로 이어질 수 있습니다. 우리는 롤아웃 순위로 유도된 방향성 비순환 선호도 그래프(directed acyclic preference graphs) 위에서 작동하는 DPO의 원칙적인 일반화인 그래프 직접 선호도 최적화(Graph Direct Preference Optimization, GraphDPO)를 제안합니다. GraphDPO는 지배 관계(dominance relations)를 엣지(edges)로 인코딩하고 최적화합니다.

추론 및 프로그램 합성 작업에 대한 평가(riment)는 우수한 성능을 보여주며, 이는 그래프 구조의 선호 모델링이 쌍별(pairwise) 및 리스트별 정렬 목적 함수에 대한 확장 가능하고 견고한 대안임을 시사합니다.