고성능 모바일 NPU 를 위한 지식 증류 기반 실용 이미지 노이즈 제거

딥러닝 기반 이미지 복원 기술은 예전보다 훨씬 높은 fidelity(정밀도)를 달성했지만, 모바일 Neural Processing Units (NPU) 상의 배포는 연산자 호환성 문제와 메모리 접근 오버헤드로 인해 여전히 제한적입니다. 우리는 모바일 NPU 의 실용적인 이미지 노이즈 제거에 특화된 하드웨어 알고리즘 공학적 설계 (hardware-algorithm co-design) 방법을 제안합니다.

우리의 방법은 고해상도 teacher 를 사용하여 현대 모바일 SoC 의 tiled-memory(타일 메모리) 구조를 효과적으로 활용할 수 있도록 경량화된 student 네트워크를 감독합니다. NPU 네이티브 primitives -- 표준 3x3 컨볼루션, ReLU 활성화 함수, 그리고 nearest-neighbor 업샘플링을 우선시하고, 점진적 context expansion 전략 (최대 1024x1024 크롭) 을 적용함으로써, Mobile AI 2026 challenge 의 검증 벤치마크에서 37.66 dB PSNR / 0.9278 SSIM, 홀드아웃 테스트 벤치마크에서 37.58 dB PSNR / 0.9098 SSIM 을 달성했습니다 (풀 해상도 2432x3200).

공식적인 challenge 규칙에 따라 추론 실행 시간은 표준화된 Full HD (1088x1920) 프로토콜 하에서 측정되었으며, MediaTek Dimensity 9500 에서 34.0 ms, Qualcomm Snapdragon 8 Elite NPU 에서 46.1 ms 로 실행됩니다. 우리는 엄격한 NPU 호환성 연산 준수가 전용 NPU 실행을 통합 모바일 GPU 보다 최대 3.88 배 빠르게 수행할 수 있음을 'Inference Inversion' 효과라고 명명합니다.

1.96M 파라미터의 student 는 high-alpha 지식 증류 (alpha = 0.9) 를 통해 teacher 의 복원 품질의 99.8% 를 회복하며, PSNR 간격을 1.63 dB 에서 0.05 dB 로만 좁히면서 21.2 배의 파라미터 감소를 달성했습니다. 이러한 결과는 하드웨어 인식 증류가 다양한 모바일 NPU 아키텍처에 걸쳐 고 fidelity 노이즈 제거와 실용적인 배포를 통합하는 효과적인 전략임을 입증합니다. 제안된 경량화된 student 모델 (LiteDenoiseNet) 과 그 훈련 통계는 NN Dataset 에서 제공되며, 주소는 https://github.com/ABrain-One/NN-Dataset 입니다.