Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 강화학습의 대안적 방법인 온-정책 증류(on-policy distillation)를 개선한 새로운 기법을 제안합니다. 기존 방식 대신, 교사 모델과 기본 모델 간의 차이인 '델타 신호'를 활용하여 추론 능력을 전이하는 것이 핵심입니다. 이를 통해 LLM이 짧은 훈련만으로도 강력한 성능을 달성할 수 있음을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기온-정책 증류(on-policy distillation)는 강화학습(reinforcement learning)에서 훈련 후 적용할 수 있는 대안적인 방법으로, 보상 모델(reward model)이 부과하는 제약 사항을 완화시키면서 교사 모델(teacher model)로부터 토큰 수준의 지도(supervision)를 제공합니다. 온-정책 증류는 다양한 환경에서 연구되고 적용되어 왔지만, 그 근본적인 설계는 여전히 충분히 탐구되지 않은 상태입니다. 본 논문에서는 교사의 출력 분포를 직접 모방하는 대신, 델타 신호(delta signal)라는 새로운 증류 보상(distillation reward)을 도입합니다. 이 델타 신호는 추론 능력(reasoning capability)을 위한 명령어 튜닝(instruction tuning) 이전의 교사 모델과 그 기본 모델(base model) 간의 차이로 정의됩니다. 따라서 이는 추론 튜닝에 의해 유도되는 변화를 포착하며, 추론 능력을 전이하는 데 더 직접적인 신호를 제공합니다. 광범위한 경험적 증거를 사용하여, 우리는 이 델타 신호가 온-정책 증류를 상당히 개선시킨다는 것을 보여주며, 새로운 증류 방법을 On-Policy Delta Distillation (OPD$^2$)이라고 지칭합니다. 수학, 과학, 코드 추론 벤치마크 전반에 걸친 실험은 OPD$^2$가 기존의 온-정책 증류보다 일관되게 우수한 성능을 보이며, 추론 LLM이 짧은 후속 훈련 기간만으로도 강력한 성능을 달성할 수 있도록 합니다. 코드는 https://github.com/naver-ai/opd2에서 이용 가능합니다.