Interleaved Stacking을 이용한 빠른 음성 기초 모델 (Speech Foundation Model) 증류

요약

음성 기초 모델(SFM)의 증류 과정을 가속화하기 위한 새로운 스태킹 방법인 'Interleaved Stacking'을 제안합니다. 기존 스태킹 방식의 성능 저하 문제를 해결하기 위해 레이어 위치를 일관되게 유지하며, SUPERB 데이터셋을 통해 그 효과를 검증했습니다.

핵심 포인트

• SFM 증류 시 학습 효율성을 높이기 위한 스태킹 기법 탐구
• 레이어 위치를 일관되게 유지하는 Interleaved Stacking 제안
• 기존 스태킹 방식의 성능 저하 문제 해결
• SUPERB 데이터셋을 통한 제안 방법의 유효성 검증