Pivot-SD: 마스크드 확산 언어 모델을 위한 효율적인 자체 증류 기법

요약

본 논문은 마스크드 확산 언어 모델(dLMs)의 고유한 크레딧 할당 문제를 해결하기 위한 새로운 자체 증류 기법인 Pivot-SD를 제안합니다. Pivot-SD는 정보 이득 지표를 사용하여 응답을 형성하는 핵심 결정(pivots)만을 선택적으로 감독하여 학습 효율성을 높입니다. 이를 통해 LLaDA-8B-Instruct 등 다양한 벤치마크에서 기존의 SFT 및 Diffusion RL 방식보다 우수한 성능을 입증했습니다.

핵심 포인트

• dLMs는 자기회귀 모델의 병렬 대안이지만 크레딧 할당 문제가 있음.
• Pivot-SD는 정보 이득 지표를 사용해 핵심 결정(pivots)만 선택적으로 학습함.
• 전체 시퀀스 SFT 대신 고영향도 피벗에 집중하여 효율성을 높임.
• 수학 및 코드 벤치마크에서 기존 방식 대비 성능 향상을 보임.