UniSD: Towards a Unified Self-Distillation Framework for Large Language Models

요약

UniSD는 대형 언어 모델(LLMs)의 자기 분별(Self-distillation, SD) 학습 과정을 체계적으로 연구하고 개선하기 위한 통합 프레임워크입니다. 기존 방법들이 개별적인 설계 선택에 초점을 맞춘 것과 달리, UniSD는 감독 신뢰성, 표현 정렬, 학습 안정성 문제를 해결하는 다중 교사 동의, EMA 교사 안정화, 토큰 수준 대비 학습 등 여러 보완적 메커니즘을 통합했습니다. 이 프레임워크를 통해 구축된 UniSDfull은 기본 모델보다 5.4점 높은 성능을 달성하며, 외부 강자 없이도 LLM 적응에 효과적인 실용적이고 조작 가능한 접근법임을 입증합니다.

핵심 포인트

• UniSD는 LLMs의 자기 분별(Self-distillation) 학습을 위한 통합 프레임워크를 제안하여, 기존 방법들의 단편적인 접근 방식을 개선했습니다.
• 프레임워크는 감독 신뢰성, 표현 정렬, 학습 안정성을 다루기 위해 다중 교사 동의, EMA 교사 안정화, 토큰 수준 대비 학습 등 여러 보완적 메커니즘을 결합합니다.
• UniSDfull 파이프라인은 기본 모델보다 5.4점 높은 성능 향상을 보여주었으며, 외부 강자 없이도 LLM 적응에 매우 효과적인 접근법임을 입증했습니다.
• 실험 결과는 자기 분별의 어떤 구성 요소가 성능 개선을 주도하는지, 그리고 이러한 구성 요소들이 작업 간 어떻게 상호작용하는지에 대한 깊은 통찰을 제공합니다.