$β$-OPSD: 정책 최적화(Policy Optimization)를 통한 유도 및 자기 증류(Self-Distillation)를 통한 학습

원문 발행 2026. 07. 31. 02:41원문 언어 영어AI 한국어 번역arXiv cs.LG 원문 보기

요약

온폴리시 자기 증류(OPSD)의 불안정성을 해결하기 위해 정책 최적화 관점에서 접근한 $\beta$-OPSD를 제안합니다. KL 페널티 가중치 $\beta$를 조절하여 참조 정책과 교사 모델 사이의 균형을 맞추며, RL 대신 폐형식 해를 이용한 효율적인 증류 방식을 사용합니다.

핵심 포인트

OPSD를 정책 최적화 프레임워크로 재정의하여 구조적 문제 해결
$\beta$ 매개변수를 통한 참조 정책과 교사 가이드 간의 기하학적 보간
RL 대신 폐형식 해를 증류 타겟으로 사용하여 계산 비용 및 분산 감소
수학적 추론 벤치마크에서 기존 OPSD 대비 우수한 성능 및 안정성 입증

온폴리시 자기 증류 (On-policy self-distillation, OPSD)는 추론 언어 모델을 개선하기 위한 유망한 접근 방식이지만, 실제 적용 시에는 여전히 취약합니다. 즉, 이를 안정적으로 작동시키기 위해서는 종종 상당한 엔지니어링 노력이 필요합니다. 우리는 이러한 어려움의 구조적 원인을 식별했습니다. 바닐라 (vanilla) OPSD는 더 넓은 정책 최적화 (policy-optimization) 제품군의 정확히 $β=1$인 구성원이며, 여기서 $β$는 학생 모델을 참조 정책 (reference policy)에 고정시키는 KL 페널티 (KL penalty)의 가중치 역할을 합니다. 이러한 등가성은 $β$를 1로 고정된 암묵적인 값이 아닌 제어 가능한 정규화 매개변수 (regularization parameter)로 전환하며, 참조 정책과의 근접성과 특권적인 교사 가이드 (privileged teacher guidance) 사이의 균형을 맞추는 더 일반적인 정식화 (formulation)를 제공합니다. 우리는 $β$-OPSD를 도입하고, 참조 정책과 특권적인 교사 사이의 기하학적 보간 (geometric interpolation)으로서 최적 정책을 유도합니다. 그러나 강화 학습 (reinforcement learning, RL)을 사용하여 이 목적 함수를 직접 최적화하는 것은 비용이 많이 들고 분산 (variance)이 높을 것입니다. RL 목적 함수를 직접 최적화하는 대신, 우리는 그 폐형식 해 (closed-form solution)를 증류 타겟 (distillation target)으로 전환합니다. 각 $β$ 값은 참조에서 교사로 이어지는 경로를 따라 타겟을 선택하며, 우리는 토큰 수준의 로짓 (token-level logits)을 혼합함으로써 이를 효율적으로 구현합니다. 이러한 방식으로, 저비용의 증류는 고비용의 정책 최적화 솔루션을 근사합니다. Return-to-go 신용 할당 (credit assignment)은 OPSD의 단순함을 유지하면서 토큰 업데이트를 시퀀스 수준의 목적 함수와 더욱 정렬시킵니다. 수학적 추론 벤치마크에 대한 실험 결과, $β$-OPSD는 바닐라 OPSD보다 일관되게 우수한 성능을 보였으며, 최적화 안정성과 다운스트림 추론 성능을 향상시켰습니다. 우리의 결과는 OPSD를 실용적으로 만드는 효율성을 희생하지 않으면서, 자기 증류에서 정책 최적화로, 그리고 다시 그 반대로 가는 원칙적인 경로를 제공합니다.

AI 자동 생성 콘텐츠

원문 바로가기

$β$-OPSD: 정책 최적화(Policy Optimization)를 통한 유도 및 자기 증류(Self-Distillation)를 통한 학습

요약

핵심 포인트

댓글