자기 증류(SSD)로 LLM 코드 생성 성능 향상 방법

요약

본 논문은 대규모 언어 모델(LLM)이 외부 검증기, 교사 모델, 또는 강화학습(RL) 없이 오직 자체 출력만으로 코드 생성 능력을 향상시킬 수 있는지 탐구합니다. 연구진들은 '단순 자기 증류(Self-Distillation, SSD)'라는 방법을 제안했습니다. 이 방법은 모델의 샘플 출력을 확보한 후 이를 표준 지도 미세 조정(Supervised Fine-Tuning)에 활용하는 방식입니다. SSD를 적용한 결과, Qwen3-30B-Instruct 모델의 LiveCodeBench v6에서의 pass@1 점수가 42.4%에서 55.

핵심 포인트

• SSD는 LLM이 자체 출력만으로 코드 생성 능력을 향상시키는 간단하면서도 효과적인 방법입니다.
• SSD는 샘플링된 출력을 활용하여 표준 지도 미세 조정(SFT)을 수행합니다.
• 이 기법은 Qwen 및 Llama 계열 모델 전반에 걸쳐 다양한 규모에서 성능 개선을 입증했습니다.
• 성능 향상은 LLM 디코딩 과정의 정밀도-탐색 간 충돌을 재구성하는 원리 덕분입니다.