대규모 언어 모델 (LLMs)은 광범위한 작업에서 놀라운 성능을 달성하지만, 상당한 메모리 및 연산 요구 사항으로 인해 배포에 제약이 있습니다. 특이값 분해 (SVD)를 통한 저차원 압축 (Low-rank compression)은 효과적인 해결책이지만, 기존 방법들은 어떻게 인수분해(factorize)할 것인지와 어떤 구성 요소를 유지할 것인지에 초점을 맞추고 있습니다. 우리는 Optimal Brain Surgeon (OBS) 프레임워크를 특이값 기저 (singular-value basis)로 가져온 훈련이 필요 없는 (training-free) 방법인 SVD-Surgeon을 소개합니다. 각 특이값을 하나의 파라미터로 취급하여, 절단 (truncation)에 의해 제거된 값들을 모델 손실 (model loss)의 2차 항 수준에서 보상할 수 있도록 유지되는 특이값들의 폐형 업데이트 (closed-form update)를 계산합니다. 동일한 분석을 통해 어떤 값을 가지치기 (prune)할지 선택하기 위한 중요도 (saliency)를 도출합니다. SVD-Surgeon은 특이값 인수분해 (singular-value factorization) 상에서 직접 작동하므로, 기존의 SVD 압축기 위에 계층적으로 적용할 수 있습니다. 선도적인 SVD 기반 방법인 SVD-LLM에 적용했을 때, SVD-Surgeon은 별도의 재학습 없이도 OPT 제품군과 LLaMA 2-7B에서 퍼플렉시티-압축 (perplexity-compression) 트레이드오프를 개선합니다.