Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
외부 감독 없이 모델의 내부 일관성만을 활용하여 성능을 향상시키는 비감독 온폴리시 자기 증류(U-OPSD) 기술을 제안합니다. 모델이 스스로 생성한 결과물 중 다수결을 통해 의사 솔루션을 구축하고, 이를 통해 오답을 스스로 수정하도록 학습합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기온폴리시 (Self-)증류 (OPD / OPSD)는 대규모 언어 모델 (LLMs)의 사후 학습 (post-training)에서 강력한 잠재력을 보여주었습니다. 그러나 기존 방법들은 여전히 정답 (ground-truth) 신호, 환경 피드백, 또는 더 큰 모델의 가이드를 포함한 외부 감독에 크게 의존하고 있으며, 따라서 진정한 의미의 "자기"-증류 (self-distillation)에는 미치지 못합니다. 본 연구에서 우리는 내부 일관성 (internal consistency)을 통해 모델 자신의 생성물만을 사용하여 온폴리시 자기 증류를 달성할 수 있음을 보여줍니다. 우리는 비감독 온폴리시 자기 증류 (Unsupervised On-Policy Self-Distillation, U-OPSD)를 제안합니다. U-OPSD는 먼저 여러 롤아웃 (rollouts)을 샘플링하고 자기 일관성 임계값 (self-consistency threshold) 하에서 다수결 (majority vote)을 통해 의사 솔루션 (pseudo-solution)을 구축합니다. 그런 다음 가장 짧은 의사 솔루션에 대해 교사 분포 (teacher distribution)를 조건화하고, 이를 모델의 가장 긴 오답 완성 (incorrect completion)의 접두사 (prefixes)로 증류하여, 모델이 자신이 확신을 가지고 틀린 지점에서 정확하게 스스로를 수정할 수 있도록 합니다. 다양한 벤치마크, 베이스 모델 및 학습 설정에 걸쳐, U-OPSD는 베이스 모델보다 일관되게 성능을 향상시키며 OPSD 및 GRPO와 같이 정답 (GT)을 사용하는 지도 학습 (supervised) 방법과 대등하거나 이를 능가합니다. AIME24, AIME25, HMMT25, MATH500 및 AMC23에서, U-OPSD는 Qwen3 non-thinking 모드 기준 4B 및 8B 규모에서 베이스 모델 대비 각각 8.5%와 10.7% 향상되었으며, OPSD를 평균 3.2% 및 2.3% 차이로 앞질렀습니다. Thinking 모드에서 U-OPSD는 OPSD와 대등한 수준을 유지하며, 4B에서는 OPSD를 0.9% 앞서고 8B에서는 대등한 성능을 보였으며, GRPO를 각각 0.7% 및 1.1% 차이로 능가했습니다.