SigmaScale: SVD 기반 저계수 분해(Low-Rank Decomposition) 및 학습된 스케일링 행렬을 이용한 LLM 압축

요약

SigmaScale은 SVD 기반의 LLM 압축을 위해 보조 스케일링 행렬을 학습하는 새로운 방법론을 제안합니다. 활성화 인지 손실 함수를 통해 가중치 행렬의 유효 내재적 계수를 낮춤으로써, Llama 3.1 및 Qwen 모델에서 SOTA 수준의 압축 성능을 입증했습니다.

핵심 포인트

• SVD 기반 압축을 위한 학습 가능한 스케일링 행렬 도입
• 활성화 인지 압축 손실을 통한 최적화 수행
• 가중치 행렬의 유효 내재적 계수 감소 확인
• Llama 3.1 및 Qwen 모델에서 SOTA급 성능 입증
• LLM 추론 비용 절감을 위한 유연한 압축 경로 제공