UniSD: Towards a Unified Self-Distillation Framework for Large Language Models
요약
UniSD는 대형 언어 모델(LLMs)의 자기 분별(Self-distillation, SD) 학습 과정을 체계적으로 연구하고 개선하기 위한 통합 프레임워크입니다. 기존 방법들이 개별적인 설계 선택에 초점을 맞춘 것과 달리, UniSD는 감독 신뢰성, 표현 정렬, 학습 안정성 문제를 해결하는 다중 교사 동의, EMA 교사 안정화, 토큰 수준 대비 학습 등 여러 보완적 메커니즘을 통합했습니다. 이 프레임워크를 통해 구축된 UniSDfull은 기본 모델보다 5.4점 높은 성능을 달성하며, 외부 강자 없이도 LLM 적응에 효과적인 실용적이고 조작 가능한 접근법임을 입증합니다.
핵심 포인트
- UniSD는 LLMs의 자기 분별(Self-distillation) 학습을 위한 통합 프레임워크를 제안하여, 기존 방법들의 단편적인 접근 방식을 개선했습니다.
- 프레임워크는 감독 신뢰성, 표현 정렬, 학습 안정성을 다루기 위해 다중 교사 동의, EMA 교사 안정화, 토큰 수준 대비 학습 등 여러 보완적 메커니즘을 결합합니다.
- UniSDfull 파이프라인은 기본 모델보다 5.4점 높은 성능 향상을 보여주었으며, 외부 강자 없이도 LLM 적응에 매우 효과적인 접근법임을 입증했습니다.
- 실험 결과는 자기 분별의 어떤 구성 요소가 성능 개선을 주도하는지, 그리고 이러한 구성 요소들이 작업 간 어떻게 상호작용하는지에 대한 깊은 통찰을 제공합니다.
자기 분별 (Self-distillation, SD) 은 외부 강자 (external teachers) 를 의존하지 않고 대형 언어 모델 (LLMs) 을 적응시키는 유망한 경로를 제공합니다. 그러나 자기 분별은 자동 회귀형 LLM 에서 여전히 도전적인데, 자기 생성된 궤적 (trajectories) 은 자유형이며, 정확성은 작업에 의존하고, 타당성 있는 이유 (rationales) 도 불안정하거나 신뢰할 수 없는 감독을 제공할 수 있기 때문입니다. 기존 방법들은 주로 고립된 설계 선택을 검토하며, 그 효과, 역할 및 상호작용이 명확하지 않습니다. 이 논문에서는 자기 분별을 체계적으로 연구하기 위한 통합 프레임워크인 UniSD 를 제안합니다. UniSD 는 감독 신뢰성 (supervision reliability), 표현 정렬 (representation alignment), 학습 안정성 (training stability) 을 해결하는 보완적인 메커니즘을 통합하며, 다중 교사 동의 (multi-teacher agreement), EMA 교사 안정화 (EMA teacher stabilization), 토큰 수준 대비 학습 (token-level contrastive learning), 특징 매칭 (feature matching), 발산 클리핑 (divergence clipping) 을 포함합니다. 6 개의 벤치마크와 3 개의 모델 가족의 6 개의 모델을 통해, UniSD 는 자기 분별이 정적 모방 (static imitation) 보다 개선되는 시기를, 어떤 구성 요소가 이득을 주도하는지, 그리고 이러한 구성 요소가 작업 간 어떻게 상호작용하는지를 보여줍니다. 이러한 통찰에 따라, 우리는 보완적인 구성 요소를 결합하고 전체 성능에서 가장 강력한 성과를 달성하는 통합 파이프라인인 UniSDfull 을 구축했습니다. 이는 기본 모델보다 +5.4 포인트, 가장 강력한 베이스라인보다 +2.8 포인트 개선되었습니다. 광범위한 평가는 자기 분별이 외부 강자 (external teachers) 없이 효율적인 LLM 적응을 위한 실용적이고 조작 가능한 접근법임을 강조합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기