Dual Adaptive Weighting을 사용한 팀 기반 셀프 플레이로 LLM 미세 조정하기

요약

본 논문은 LLM 정렬 과정에서 인간 라벨링 데이터 의존도를 낮추면서도 발생하는 합성 데이터의 불안정성 및 최적화 비효율성 문제를 해결하기 위해 새로운 접근 방식을 제안합니다. 핵심 방법론인 TPAW(Team-based self-Play with dual Adaptive Weighting)는 정책 모델이 협력과 경쟁을 동시에 수행하는 팀 기반 프레임워크를 활용하여, 완전히 자체 지도 학습 환경에서 LLM의 정렬 개선을 목표로 합니다.

핵심 포인트

• 기존의 자체 훈련(self-training) 방식은 합성 데이터 품질에 민감하고 반복 훈련 시 불안정성 및 편향 증폭 문제가 발생할 수 있다.
• 최적화 과정에서 긍정적/부정적 응답 간 격차가 줄어들어 비효율성이 발생하는 문제를 해결하는 것이 목표이다.
• 제안된 TPAW(Team-based self-Play with dual Adaptive Weighting)는 LLM 정렬을 위한 새로운 셀프 플레이 알고리즘이다.
• TPAW는 정책 모델이 협력과 경쟁이라는 두 가지 역할을 수행하는 팀 기반 프레임워크를 채택하여 안정적인 학습 환경을 구축한다.