일반 선호도에 맞춰 언어 모델 정렬하기: 직접 나쉬 최적화(Direct Nash Optimization)의 경험적 연구

요약

본 연구는 직접 나쉬 최적화(DNO)를 활용하여 언어 모델을 일반적인 선호 함수에 정렬하는 방법을 탐구했습니다. DNO-Prct를 오픈 웨이트 모델(Llama 3.1, Mistral)에 적용한 결과, GPT-4o 심사위원 대비 길이 제어 승률이 크게 상승함을 입증했습니다. 또한, 독점 모델 없이도 높은 성능 이득을 유지할 수 있어 실용성이 높습니다.

핵심 포인트

• DNO-Prct는 오픈 웨이트 모델의 일반 선호도 정렬에 효과적인 방법론입니다.
• GPT-4o 대비 길이 제어 승률이 Llama 3.1 등에서 유의미하게 상승했습니다.
• 오픈 웨이트 어노테이터만으로도 독점 모델 수준의 성능 이득을 유지할 수 있습니다.
• 골드 응답이나 데이터 룩백 제거 시 전체 절차 대비 낮은 LC 점수가 관찰되었습니다.