SVD-Surgeon: 대규모 언어 모델 압축을 위한 최적의 특이값 수술 (Optimal Singular-Value Surgery)
요약
SVD-Surgeon은 별도의 재학습 없이 LLM을 압축하는 새로운 training-free 방법론을 제안합니다. Optimal Brain Surgeon 프레임워크를 특이값 기저에 적용하여, 모델 손실을 최소화하는 특이값 업데이트와 가지치기 기준을 계산합니다.
핵심 포인트
- SVD 기반의 저차원 압축을 위한 최적의 특이값 선택 및 업데이트 제공
- 재학습 없이도 OPT 및 LLaMA 2-7B 모델의 퍼플렉시티 개선
- 기존 SVD 압축 기법 위에 계층적으로 적용 가능한 구조
- 모델 손실의 2차 항 수준에서 보상하는 폐형 업데이트 계산
대규모 언어 모델 (LLMs)은 광범위한 작업에서 놀라운 성능을 달성하지만, 상당한 메모리 및 연산 요구 사항으로 인해 배포에 제약이 있습니다. 특이값 분해 (SVD)를 통한 저차원 압축 (Low-rank compression)은 효과적인 해결책이지만, 기존 방법들은 어떻게 인수분해(factorize)할 것인지와 어떤 구성 요소를 유지할 것인지에 초점을 맞추고 있습니다. 우리는 Optimal Brain Surgeon (OBS) 프레임워크를 특이값 기저 (singular-value basis)로 가져온 훈련이 필요 없는 (training-free) 방법인 SVD-Surgeon을 소개합니다. 각 특이값을 하나의 파라미터로 취급하여, 절단 (truncation)에 의해 제거된 값들을 모델 손실 (model loss)의 2차 항 수준에서 보상할 수 있도록 유지되는 특이값들의 폐형 업데이트 (closed-form update)를 계산합니다. 동일한 분석을 통해 어떤 값을 가지치기 (prune)할지 선택하기 위한 중요도 (saliency)를 도출합니다. SVD-Surgeon은 특이값 인수분해 (singular-value factorization) 상에서 직접 작동하므로, 기존의 SVD 압축기 위에 계층적으로 적용할 수 있습니다. 선도적인 SVD 기반 방법인 SVD-LLM에 적용했을 때, SVD-Surgeon은 별도의 재학습 없이도 OPT 제품군과 LLaMA 2-7B에서 퍼플렉시티-압축 (perplexity-compression) 트레이드오프를 개선합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기