파라미터 클러스터링을 이용한 음성 파운데이션 모델의 데이터 프리 및 트레이닝 프리 압축 연구

본 논문은 k-means를 통한 채널별 클러스터링 (channelwise clustering)을 사용하여 음성 파운데이션 모델 (speech foundation models)을 위한 새로운 데이터 프리 (data-free) 및 트레이닝 프리 (training-free) 압축 접근 방식을 제시합니다. 또한 레이어 수준에서 가변적인 파라미터 클러스터 수를 사용하는 더 세밀한 혼합 희소성 프루닝 (mixed sparsity pruning)도 탐구합니다. LibriSpeech 데이터셋에서 수행된 실험에 따르면, HuBERT-large 모델에 50%의 프루닝 희소성 (pruning sparsity)을 적용했을 때, 파인튜닝 (fine-tuning) 전 test-clean 및 test-other 서브셋에서 크기 기반 프루닝 (magnitude-based pruning) 대비 각각 27.73%/18.61% 절대적 (34.37%/21.91% 상대적) 감소된 WER (Word Error Rate)을 얻었으며, 단 3 에포크 (epochs)의 파인튜닝 후에는 0.19%/0.79% 절대적 (3.36%/4.62% 상대적) 감소를 기록했습니다. Whisper-large-v3 모델의 10% 희소성 (sparsity) 환경에서도 크기 기반 프루닝 대비 2.86%/5.02% 절대적 (59.21%/55.29% 상대적)의 유사한 WER 감소가 관찰되었으며, 모든 경우에서 압축되지 않은 베이스라인 (baseline) 대비 유의미한 WER 증가 없이 수행되었습니다.