TokenRatio: 비율 매칭(Ratio Matching)을 통한 원칙적인 토큰 수준 선호도 최적화

요약

본 연구는 기존의 DPO(Direct Preference Optimization)가 전체 시퀀스 선호도를 모델링하는 한계를 극복하고, 토큰 수준의 선호도 최적성(token-level preference optimization)을 회복하는 방법을 제시합니다. 이를 위해 'Token-level Bregman Preference Optimization (TBPO)'라는 새로운 프레임워크를 도입했습니다. TBPO는 표준적인 시퀀스 수준 쌍체 비교만을 사용하면서, 토큰별 다음 행동에 대한 선호도 모델을 가정하고 일반화된 목적 함수(Bregman-divergence 밀도 비율 매칭)를 도출합니다. 실험 결과, TBPO는 다양한 벤치마크에서 기존의 강력한 시퀀스 및 토큰 수준 베이스라인 대비 정렬 품질과 학습 안정성을 개선하고 출력 다양성을 증가시키는 성능을 보였습니다.

핵심 포인트

• DPO는 전체 시퀀스 선호도를 모델링하여 토큰별 최적성이 암시적으로만 남겨지는 한계가 있다.
• TBPO(Token-level Bregman Preference Optimization)는 표준적인 시퀀스 수준 쌍체 비교를 사용하여 토큰 수준의 선호도 최적성을 회복한다.
• TBPO는 Bregman-divergence 밀도 비율 매칭 목적 함수를 도출하여 DPO와 유사한 단순성을 유지하면서 일반화된 손실을 제공한다.
• 제안된 두 가지 구현체(TBPO-Q 및 TBPO-A)는 지시 이행, 유용성/무해성, 요약 등 다양한 벤치마크에서 성능 개선을 입증했다.