Wanda나 SparseGPT 같은 원샷(one-shot) 가지치기 방법들은 트랜스포머의 모든 계층에 동일한 희소성 비율을 적용하며, 계층 중요도의 알려진 변화를 무시합니다. 우리는 PALS (Percentile-Aware Layerwise Sparsity)를 제안하는데, 이는 활성화 크기의 99번째 분위수(percentile)를 기반으로 계층별 희소성을 조정하며, 목표 비율 주변 $\pm 5%$로 제한됩니다. 50%의 희소성에서 LLaMA-2-7B에 적용했을 때, PALS는 균일한 Wanda (9회 평균, $p < 0.001$)가 달성하는 12.92 대비 10.96의 WikiText-2 퍼플렉서티를 달성합니다. 이 이점은 아키텍처에 따라 달라지는데, LLaMA-3-8B에서는 미미한 개선을 보였고 Mistral-7B에서는 아무런 개선도 보여주지 않았습니다. 또한 우리는 기울기 기반 할당(gradient-based allocation) — 겉보기에 더 원칙적인 접근 방식 — 이 무작위보다 나쁜 결과를 초래한다는 것을 발견했으며, 이는 기울기 크기가 이산적인 가중치 제거의 영향을 예측하지 못함을 시사합니다. PALS는 가지치기 파이프라인에 미미한 비용을 추가하며 미세 조정(fine-tuning)을 필요로 하지 않습니다.