AQ4SViT: Spiking Vision Transformer 압축을 위한 탐색 게이팅 정책 기반 자동 양자화 프레임워크

Spiking Vision Transformers (SViTs)는 저전력 ViT 모델의 대안으로 등장했지만, 거대한 크기로 인해 자원이 제한된 임베디드 AI 시스템에 배포하는 데 어려움이 있습니다. 이를 해결하기 위해 최신 연구들은 SViT 모델을 압축하기 위한 양자화 (Quantization) 기술을 제안해 왔으나, 수동적이고 인간이 가이드하는 방식은 각 네트워크에 적합한 양자화 설정을 찾는 데 막대한 설계 시간과 전력/에너지 소비를 필요로 하며, 이로 인해 여러 네트워크를 양자화하기 위한 확장성(Scalability)이 부족합니다. 이를 위해, 우리는 정확도와 메모리 사이의 우수한 트레이드오프 (Trade-off)를 제공하며 빠른 양자화 설정을 제공할 수 있는 SViT를 위한 새로운 자동 양자화 프레임워크인 AQ4SViT를 제안합니다. 이를 달성하기 위해 AQ4SViT는 다음과 같은 핵심 아이디어를 채택합니다: 정확도 제약 조건을 고려하면서 양자화 설정 후보들을 평가하는 양자화 탐색 전략 (Quantization search strategy); 그리고 성능 프록시 (Performance proxy)로서 막전위 드리프트 (Membrane potential drift)를 활용하여 유망한 양자화 후보를 빠르게 평가하고 선택하는 탐색 게이팅 정책 (Search gating policy)입니다. 탐색 게이팅 정책에서 AQ4SViT는 트레이드오프 옵션을 제공하기 위해 두 가지 탐색 알고리즘 변형을 사용합니다: 빠르지만 지역 최적점 (Local optima)에 빠질 수 있는 탐색인 Greedy search; 그리고 더 넓은 탐색 공간 덕분에 전역 최적점 (Global optima) 선택에서 더 나은 성능을 보이지만 속도는 더 느린 Beam search입니다. 실험 결과에 따르면, AQ4SViT-Greedy는 최신 기술(State-of-the-art)과 비교하여 최대 6.6배 빠른 탐색 시간과 최대 82.5%의 메모리 절감을 달성하며 적절한 양자화 설정을 빠르게 찾아냅니다. 반면, AQ4SViT-Beam은 최신 기술 대비 메모리 사용량을 최대 90%까지 추가로 줄이지만 탐색 시간은 4.5배 더 소요됩니다. 이 모든 결과는 ImageNet 데이터셋에서 원본/비양자화 모델 대비 1.5% 이내의 높은 정확도를 유지하면서 얻어졌습니다. 이러한 결과는 AQ4SViT 프레임워크가 임베디드 AI 시스템에서의 SViT 배포를 향한 진보를 제공함을 강조합니다.