CPU-GPU 주파수를 넘어: 엣지 추론 지연 시간 추정에서의 메모리 클록 및 테일 효과

주파수 인식(Frequency-aware) 지연 시간 추정기는 CPU 및 GPU 주파수에 따른 지연 시간을 모델링함으로써 엣지 ML 추론을 위한 마감 시간 인식(deadline-aware) DVFS를 가능하게 합니다. 본 연구에서는 NVIDIA Jetson Orin Nano에 대한 측정 연구를 통해 이러한 모델링 범위를 벗어나는 세 가지 현상을 제시합니다. (1) 메모리 클록(Memory clock)은 누락된 축입니다: 현실적인 EMC 상한 범위(2133->3199 MHz) 전반에 걸쳐, 워크로드에 따라 중앙값 지연 시간을 +11%에서 +48%까지 변화시키며, GPU 클록이 최상단인 합성 L2 상주 커널(L2-resident kernel)의 경우 재현 가능한 비단조적(non-monotonic) 사례(-9%)가 관찰됩니다. 결과적으로 하나의 전력 프로필(power profile) 하에서 프로파일링되고 다른 프로필 하에 배포된 GPU 주파수 추정기는 지연 시간을 최대 32%까지 과소평가합니다. 4개의 잠금 가능한 EMC 지점을 표로 정리하면 대부분의 워크로드를 보정할 수 있지만, 매개변수적 1/f_emc 항은 그렇지 못합니다. (2) 총 미스율(Aggregate miss rates)은 버스트(bursts)를 숨깁니다: 고정된 클록에서 100k 사이클 실행은 마감 시간 미스 절벽(deadline-miss cliffs)이 약 1ms에 달하는 칼날 같은 분포(knife-edge distributions)를 보여주지만, 미스는 독립성(independence)을 훨씬 벗어나 클러스터링됩니다. 0.1%의 총 미스율에서 다음 사이클 또한 최대 74%의 확률로 미스합니다(독립적 기준치의 740배). 가우시안(Gaussian) mu+3sigma 마진은 0.1% 미스 목표를 13배~29배 초과하는 반면, 표본 외 일반화 파레토(generalized Pareto) 마진은 8개 구성 모두에서 목표의 약 2배 이내를 유지합니다. (3) 주파수 작동(Frequency actuation)은 비용이 들지 않습니다: 도메인별 전환 스톨(transition stalls)은 100us 미만으로 유지되지만, 새로운 동작 지점이 효과를 나타내는 데는 CPU/GPU/EMC 각각 1/5/8ms가 소요됩니다. 이는 추론당 거버너(per-inference governors)의 일반적인 추론 주기에서 상당한 비중을 차지합니다. 우리는 전체 측정 하네스(measurement harness)를 공개하며, 차세대 주파수 인식 추정기 및 거버너에 대한 시사점을 논의합니다.