EnergAIzer: AI 워크로드 전력 예측을 위한 빠르고 정확한 프레임워크

AI 워크로드의 폭발적인 증가로 데이터센터의 전력 소비가 급증함에 따라, GPU 전력 추정의 정확하고 신속한 관리는 필수적 과제가 되었습니다. 기존의 전력 모델들은 자체적으로는 훌륭하지만, 필요한 하드웨어 활용률(utilization) 입력값을 얻어내는 과정에서 심각한 확장성 병목 현상(scalability bottleneck)을 겪고 있었습니다.

전통적인 접근 방식은 비용이 많이 드는 시뮬레이션이나 복잡한 하드웨어 프로파일링에 의존했기 때문에, 신속하고 반복적인 예측이 필요한 환경에서는 실용성이 떨어졌습니다. 본 논문에서 제안하는 EnergAIzer는 바로 이 확장성 병목 현상을 해결하기 위해 개발된 경량화 솔루션입니다.

EnergAIzer의 핵심 통찰(key insight)은 AI 워크로드의 커널들이 공통적으로 구조적인 패턴을 활용하여 최적화된다는 점에 있습니다. 이러한 패턴들은 메모리 트래픽과 실행 타임라인 같은 중요한 시스템 자원 사용량을 분석적으로 결정할 수 있게 합니다.

연구진은 이 구조적 패턴들을 성능 모델의 '분석적 골격(analytical scaffold)'으로 구축하고, 이를 통해 실제 경험적 데이터 피팅을 수행합니다. 이 과정에서 모듈 레벨의 활용률까지 자연스럽게 파악할 수 있다는 장점이 있습니다. 이렇게 예측된 활용률 값은 최종적으로 전력 모델에 입력되어 동적 전력 소비량(dynamic power consumption)을 추정하게 됩니다.

실험 결과, EnergAIzer는 NVIDIA Ampere GPU에서 8%의 낮은 전력 오차를 달성했습니다. 이는 복잡한 사이클 레벨 시뮬레이션이나 하드웨어 프로파일링 기반의 전통적인 전력 모델과 비교해도 매우 경쟁력 있는 수치입니다.

나아가, EnergAIzer는 주파수 스케일링(frequency scaling) 및 아키텍처 구성 변경 등 다양한 탐색적 분석(exploration capabilities)에도 활용될 수 있음을 입증했습니다. 특히 NVIDIA H100과 같은 최신 GPU에 대해서도 단 7%의 오차로 전력 예측이 가능함을 보여주며, 궁극적으로 전력 인식 설계 탐색(power-aware design explorations)을 위한 강력한 기반을 제공합니다.