적응형 신호 소생 (Adaptive Signal Resuscitation): 희소 비전 네트워크를 위한 채널별 사후 가지치기 복구

One-shot 크기 가지치기 (magnitude pruning)는 가지치기 마스크가 가장 큰 가중치들을 보존하더라도, 높은 희소성 (high-sparsity) 영역에서는 심각한 정확도 붕괴를 초래할 수 있습니다. 우리는 이러한 실패가 사후 가지치기 복구 (post-pruning repair) 과정에서의 입도 불일치 (granularity mismatch)를 반영한다고 주장합니다. 전역 크기 가지치기 (global magnitude pruning) 하에서는 거의 붕괴된 채널들이 동일한 레이어 내에서 정보가 풍부한 활성화 분산 (activation variance)을 유지하는 채널들과 공존할 수 있습니다. 기존의 레이어별 활성화 복구 (layer-wise activation repair) 방법들은 레이어 전체에 단일한 보정을 적용하며, 이로 인해 레이어 수준의 신호를 복구하려 시도하는 과정에서 손상된 채널을 과도하게 증폭시킬 수 있습니다.

우리는 복구의 입도를 손상의 입도에 맞추는 훈련이 필요 없는 (training-free) 채널별 복구 방법인 적응형 신호 소생 (Adaptive Signal Resuscitation, ASR)을 제안합니다. ASR은 각 출력 채널에 대해 분산 매칭 (variance-matching) 보정치를 추정하고, 이를 데이터 기반 수축 규칙 (data-driven shrinkage rule)으로 안정화하여, 가지치기 후 신호가 약한 채널에 대한 신뢰할 수 없는 보정은 억제하는 동시에 더 건강한 채널에 대한 보정은 보존합니다. BatchNorm 재보정 (recalibration) 전에 적용되는 ASR은 작은 보정 데이터셋 (calibration set)에 대한 순전파 (forward pass)만을 필요로 하며 재학습이 필요하지 않습니다.

세 가지 데이터셋, 네 가지 합성곱 아키텍처 (convolutional architectures), 그리고 비구조적 (unstructured) 및 구조적 (structured) 희소성 설정 모두에서 ASR은 일반적으로 레이어별 복구보다 성능을 향상시키며, 특히 높은 희소성 영역에서 가장 뚜렷한 이득을 보였습니다. 90% 희소성에서의 ResNet-50 모델을 대상으로 한 실험에서, ASR은 CIFAR-10 데이터셋에 대해 55.6%의 top-1 정확도를 회복하였으며, 이는 레이어별 복구가 41.0%, BatchNorm 전용 재보정이 28.0%를 기록한 것과 대조적입니다. 절제 연구 (Ablations)를 통해 단순한 채널별 분산 매칭은 불충분하며, 수축 (shrinkage)이 사후 가지치기 복구를 안정화한다는 것을 보여줍니다.