Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 기사는 엣지 AI 추론을 위한 10가지 서브와트(Sub-Watt) 장치를 벤치마크했습니다. 분석 결과, 모든 가속기에서 지연 시간은 MAC 카운트가 아닌 메모리 트래픽에 의해 결정되는 '메모리 제한적' 특성을 보였습니다. NPU 탑재 MCU는 기존 대비 높은 성능 향상을 보여주었으며, IMX500과 같은 장치가 낮은 전력-성능을 형성했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AR의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기엣지(edge)에서의 신경망 추론은 엄격한 에너지 예산 내에서 작동해야 합니다. 기존의 벤치마크는 소수의 장치만을 비교하고, 공통된 기준으로 에너지를 보고하지 않으며, NPU가 탑재되거나 1 GHz Cortex-M85를 갖춘 최신 마이크로컨트롤러(MCU)들을 누락하고 있습니다. 하드웨어 인지 설계(Hardware-aware design)는 네트워크를 MAC 카운트(MAC count)로 순위 매기기도 하지만, 이 대리 지표(proxy)가 모든 가속기에서 유효한지는 아무런 연구도 테스트하지 않았습니다.
저희는 네 가지 CNN(MobileNetV3, MCUNetV1, EfficientNet, SqueezeNet)과 두 개의 작은 트랜스포머(MobileViT-XXS, DeiT-tiny)를 열 가지 상용 장치에서 평가하여 서브와트 엣지 AI 하드웨어를 벤치마크했습니다. 이 장치들은 인센서 DSP (Sony IMX500), NPU가 탑재된 네 개의 MCU (STM32N6, Alif Ensemble E7/E8, GreenWaves GAP9), 그리고 NPU가 없는 다섯 개의 MCU (STM32U5, Apollo510B, ESP32-S3 Xtensa LX7, RA8M2, STM32V8)로 구성되어 있습니다. 이 중 네 가지 장치(Alif E8, Apollo510B, RA8M2, STM32V8)는 새로운 장치입니다.
유휴 상태 대비 측정된 에너지 기준으로 볼 때, IMX500 (0.13-0.35 mJ)은 모든 모델에서 STM32N6 (0.31-1.05 mJ)보다 1.33배 적은 에너지를 사용합니다. GAP9는 MobileNetV3에서 가장 적게 사용하며, Alif E7은 MCUNetV1과 SqueezeNet에서 가장 적게 사용합니다. 네 장치 모두 STM32V8 (1.85-3.98 mJ)보다 634배 적은 에너지를 사용하며, Alif E7과 IMX500이 전력-성능 파레토 프론트(power-performance Pareto front)를 형성합니다.
모든 네 가지 가속기에서 지연 시간(Latency)은 MACs가 아닌 메모리 트래픽(가중치 및 활성화 값의 바이트 수, r >= 0.98)에 따라 증가하므로, 이들은 메모리 제한적(memory-bound)이며, NPU가 없는 MCU는 그렇지 않습니다. NPU의 장점은 MCUNetV1에서 1 GHz Cortex-M85 대비 1.4배부터 SqueezeNet에서 8.2배까지 강도에 따라 증가합니다. 따라서 MAC 카운트는 서브와트 가속기에게 오해를 줄 수 있는 비용 지표입니다.