보상 정규화를 통한 선호 기반 자기 증류: KL 매칭을 넘어

요약

본 논문은 기존 온폴리시 자기 증류(on-policy self-distillation) 방법이 KL 매칭에 의존하여 겪는 훈련 불안정성 및 탐험적 다양성 부족 문제를 해결하기 위해 '보상 정규화 기반 자기 증류(PBSD)'를 제안합니다. PBSD는 교사 분포 직접 매칭 대신, 보상 가중치된 목표 정책을 생성하는 보상 정규화 목적 함수를 활용하여 온폴리시 학생 샘플링을 유지하면서도 성능과 안정성을 개선합니다. 실험 결과, PBSD는 다양한 벤치마크에서 기존 방법들보다 일관되게 우수한 평균 성능을 달성했습니다.

핵심 포인트

• 기존 자기 증류 방식의 한계: KL 매칭 의존으로 인한 훈련 불안정성과 탐험적 다양성 부족 문제를 지적함.
• 새로운 접근법 제안: '보상 정규화 기반 자기 증류(PBSD)'를 통해 온폴리시 자기 증류에 접근함.
• 핵심 메커니즘: 교사 분포 직접 매칭 대신, 보상 가중치된 목표 정책을 생성하는 보상 정규화 목적 함수를 사용함.
• 성능 개선 입증: PBSD는 수학적 추론 및 도구 사용 벤치마크에서 기존 베이스라인 대비 일관되게 가장 강력한 평균 성능을 달성했음을 보여줌.