점진적 크기 기반 가지치기를 통한 단일 학습 주기 내 희소 서브네트워크 찾기

신경망 가지치기(Neural network pruning)는 중요도가 낮은 파라미터를 제거하여 모델 크기를 줄이는 동시에 예측 성능을 유지하는 것을 목표로 합니다. 비록 Lottery Ticket Hypothesis (LTH)가 적절한 초기화로부터 학습된 희소 서브네트워크가 밀집 네트워크와 일치할 수 있음을 보여주지만, 이의 반복적인 가지치기 절차는 여러 번의 완전한 학습 주기를 필요로 합니다. 본 연구는 단일 주기 대안으로서 점진적 크기 기반 가지치기(progressive magnitude-based pruning)를 평가합니다. 이 방법은 선형 스케줄을 사용하여 훈련 중 희소성을 점진적으로 증가시키고, 활성 가중치 크기(active weight magnitudes)에 기반하여 가지치기 마스크를 업데이트합니다. 우리는 ResNet, VGG 스타일, LeNet 아키텍처에 걸쳐 CIFAR-10 및 MNIST에서 체계적인 실험을 수행하고, LTH, SNIP, GraSP를 포함한 대표적인 반복적 및 초기화 기반 가지치기 기준선과 비교했습니다. CIFAR-10에서 이 방법은 72.9%의 희소성에서 ResNet-18에 대해 95.12%의 정확도를 달성했으며, 이는 LTH가 보고한 90.5%와 비교됩니다. 극단적인 희소성에서도 97%의 희소성에서 VGG 유사 아키텍처에 대해 93.13%의 정확도를 달성하여 SNIP의 약 92.0%와 비교되었으며, 98%의 희소성에서 VGG-19에 대해 93.44%의 정확도를 달성하여 GraSP의 92.19%와 비교되었습니다. ResNet-18에 대한 희소성-정확도 분석은 또한 70~85%의 희소성에 걸쳐 정확도가 밀집 기준선과 0.1 퍼센트 포인트 이내로 유지됨을 보여줍니다. 이러한 결과는 점진적 크기 기반 가지치기가 평가된 환경에서 신경망 희소화(neural network sparsification)를 위한 효과적인 단일 주기 접근 방식을 제공함을 시사합니다.