엣지 추론 거버너(Edge-Inference Governors)는 메모리 클록 상태를 필요로 한다

요약

엣지 디바이스의 ML 추론 시 메모리 클록(EMC) 상태를 고려하지 않는 기존 DVFS 거버너의 한계를 지적합니다. EMC를 인지하는 재조정 모델을 통해 Jetson Orin NX 환경에서 QoS 미스율을 1.3%까지 낮추고 에너지 효율을 높일 수 있음을 입증했습니다.

핵심 포인트

• 기존 CPU/GPU 중심 추정기는 메모리 클록 미인지로 인해 마감 시간 준수에 실패함
• EMC를 인지하는 모델은 QoS 미스율을 최대 1.3%로 유지하며 에너지 효율 최적화 가능
• MobileNetV2, ViT, Qwen2.5 LLM 등 다양한 워크로드에서 효과 검증
• CPU/GPU 상태만으로는 해결할 수 없는 메모리 클록의 중요성 강조