PALS: LLM 가지치기를 위한 분위수 인식 계층별 희소성

요약

본 논문은 LLM의 효율적인 경량화를 위해 PALS (Percentile-Aware Layerwise Sparsity)라는 새로운 가지치기 기법을 제안합니다. PALS는 활성화 크기의 분위수를 기반으로 계층별 희소성을 조정하여, 기존 방법들보다 더 나은 성능과 낮은 퍼플렉서티를 달성함을 보여줍니다. 또한, 기울기 기반 할당 방식의 한계점도 제시했습니다.

핵심 포인트

• PALS는 활성화 분위수 기반으로 계층별 희소성을 조정합니다.
• LLaMA-2-7B에서 기존 방법 대비 퍼플렉서티 개선을 입증했습니다.
• 가지치기는 미세 조정 없이 적용 가능하며 비용이 적습니다.
• 기울기 기반 할당은 이산적 가중치 제거의 영향을 예측하기 어렵습니다.