MASS-DPO: 다중 부정적 능동 샘플 선택을 통한 직접 정책 최적화

요약

MASS-DPO는 Plackett--Luce (PL) 모델 하의 다중 부정적 선호도 최적화를 위한 새로운 방법론입니다. 이 방법은 대규모 부정 풀에서 중복적인 기울기 계산 문제를 해결하기 위해, PL 특이적 피셔 정보량 목적 함수를 사용하여 간결하고 정보가 풍부한 부정 부분 집합을 능동으로 선택합니다. 그 결과, 정책 업데이트에 상호 보완적인 정보를 제공하는 최적의 샘플들을 선별하여, 기존 방법들보다 효율적이면서도 강력한 모델 정렬(alignment) 성능을 달성합니다.

핵심 포인트

• MASS-DPO는 PL 모델 기반 다중 부정적 선호도 최적화 기법입니다.
• 대규모 부정 풀의 중복 기울기 문제를 해결하기 위해 능동 샘플 선택 전략을 도입했습니다.
• PL 특이적 피셔 정보량 목적 함수를 사용하여, 정책 업데이트에 상호 보완적인 정보를 제공하는 부분 집합을 추출합니다.
• 추천 및 QA 벤치마크에서 기존 방법 대비 일관되게 우수하거나 동등한 성능을 보여 강력한 정렬 능력을 입증했습니다.