레이어별 오류 모델 검색을 통한 SVD 기반 LLM 압축 발전

요약

본 연구는 저랭크 SVD 기반 LLM 압축의 한계를 극복하기 위해 Layer-wise Error Modeling Search (LEMS)와 KFAC-SVD를 제안합니다. LEMS는 계층별 오류 대리 변수를 활용하여 전역 순위 할당을 개선하고, KFAC-SVD는 토큰별 통계로 분해 품질을 높입니다. 이 방법들은 Mistral, Llama 3 등 주요 모델에서 높은 정확도 및 낮은 퍼플렉서티 개선 효과를 입증했습니다.

핵심 포인트

• LEMS 도입으로 계층별 오류 대리 변수를 활용하여 전역 순위 할당 문제를 해결함.
• KFAC-SVD는 토큰별 통계를 이용해 분해 품질을 높이고 순위 부족 현상을 완화함.
• Mistral, Llama 3 등에서 최대 4.8 p.p.의 상당한 제로샷 정확도 향상을 제공함.
• KFAC-SVD를 통해 평균 퍼플렉서티 개선율 15% 달성이 가능함을 입증함.