워크로드 인식 전력 공급 네트워크 최적화를 위한 강화학습 기반 방법

전력 공급 네트워크(PDN)는 현대 VLSI 칩의 핵심 구성 요소로, 전기 이동(EM) 및 IR-drop 제약 조건을 만족시키면서 안정적인 전압 레벨을 제공합니다. 기존 PDN 설계 방법론은 일반적으로 최악의 경우 가정을 기반으로 하며, 이는 종종 과도하게 자원이 할당된 네트워크와 비효율적인 자원 사용을 초래합니다. 본 논문에서는 워크로드 인식(workload-aware) PDN 최적화를 위한 강화학습(reinforcement learning) 기반 프레임워크를 제시합니다. 제안하는 방법론은 먼저 시스템 레벨 시뮬레이션에서 얻은 아키텍처 전력 트레이스(architectural power traces)를 사용하여 워크로드 인식 PDN을 생성합니다. 이 전력 트레이스는 공간적 전력 밀도 분포로 매핑되어, 국소적인 전류 수요에 따라 PDN 자원을 적응적으로 할당할 수 있게 합니다. 이후 강화학습 에이전트가 EM 및 전압 무결성 제약 조건을 유지하면서 PDN 면적을 최소화하기 위해 와이어 폭(wire-width) 최적화를 수행합니다. 전기적 및 신뢰성 지표는 SPICE 기반 회로 분석과 EM 수명 추정(EM lifetime estimation)을 사용하여 얻습니다. 실험 평가는 PARSEC 및 SPLASH-2 벤치마크 워크로드를 사용한 4-, 8-, 16코어 멀티프로세서 플로어플랜의 워크로드 인식 PDN 데이터셋에 대해 수행되었습니다. 나아가, 제안된 Deep Q-Network (DQN) 기반 최적화기는 모든 EM 및 IR-drop 제약 조건을 만족시키면서 평균 정규화 PDN 면적을 47% 감소시킵니다. 시뮬레이티드 어닐링(simulated annealing)과 비교했을 때, 제안된 접근 방식은 유사한 수준의 최적화 품질을 달성하면서 약 26배 더 빠른 최적화를 제공합니다.