MGDA-Decoupled: DPO 기반 LLM 정렬을 위한 기하학적 다중 목표 최적화

요약

LLM의 인간 가치 정렬은 유용성, 진실성, 무해성 등 상충될 수 있는 여러 목표를 동시에 최적화하는 다중 목표(Multi-Objective) 문제입니다. 기존 방식들은 이러한 목표들을 단일 스칼라 값으로 통합하여 특정 목표가 과소평가되는 '절차적 불공정성'을 초래했습니다. 본 논문은 기하학 기반의 새로운 알고리즘인 MGDA-Decoupled를 제안합니다. 이는 개별 목표의 수렴 역학(convergence dynamics)을 명시적으로 고려하면서 공유된 하강 방향(shared descent direction)을 찾는 방식으로, 기존

핵심 포인트

• LLM 정렬은 유용성, 진실성 등 상충하는 여러 목표를 다루는 다중 목표 최적화 문제이다.
• 제안된 MGDA-Decoupled는 Reinforcement Learning (RL)이나 별도의 보상 모델(Reward Model) 없이 DPO 패러다임 내에서 작동한다.
• 이 알고리즘은 각 개별 목표의 수렴 역학을 명시적으로 고려하여, 기존 방식 대비 더 공평한 트레이드오프를 달성한다.
• UltraFeedback 데이터셋 실험 결과, MGDA-Decoupled는 전반적 및 개별 목표 측면에서 최고 수준의 승률(win rates)을 기록했다.