MEDEM: 다중 엔진 DL 가속기 설계 방법론

다중 엔진(Multi-engine) 심층 학습(DL) 가속기는 현대 DL 워크로드의 이질성(heterogeneity)과 증가하는 복잡성을 해결함에 따라 점차 보편화되고 있습니다. 다양한 DL 워크로드를 효율적으로 처리하기 위해서는, 이러한 가속기들이 워크로드의 이질적인 커널(kernel)이 가진 고유한 계산 특성에 맞추어 상호 보완적인 기능을 갖춘 엔진들의 조합을 통합해야 합니다. 하지만 기존의 다중 엔진 DL 가속기 설계 접근 방식들은 체계적인 방법론이 부족하여 근본적인 질문들을 해결하지 못하고 있습니다. 여기에는 다양한 계산 특성을 가진 워크로드를 위해 엔진을 공동 설계(co-design)하는 방법과, 이러한 워크로드 전반에 걸쳐 총 실행 비용(예: 시간 또는 에너지)을 최소화하는 엔진 조합이 무엇인지 등이 포함됩니다. 이러한 질문들을 해결하기 위해서는 지수적으로 큰 설계 공간(design space)을 효율적으로 탐색해야 합니다. 본 연구는 이러한 질문들에 체계적으로 대응하기 위해 다중 엔진 DL 가속기 설계 방법론(Multi-Engine DL Accelerator Design Methodology, MEDEM)을 제안합니다. MEDEM은 일반적인 엔진 추상화(engine abstractions)를 정의하고, 후보 인스턴스(엔진)들을 공동 설계하며, 다양한 DL 워크로드와 자원 예산(resource budget)이 주어졌을 때 총 실행 비용을 최소화하는 공동 설계된 엔진 조합을 선택합니다. MEDEM은 엔진의 공동 설계 및 조합 선택에 따른 지수적으로 큰 설계 공간을 효율적으로 탐색하는 일련의 설계 전략들을 포괄하며, 고도로 최적화된 다중 엔진 가속기를 식별합니다. 종합적인 평가 결과는 MEDEM이 기존 최고 수준(state-of-the-art) 설계를 능가하는 가속기를 식별함을 입증했으며, 에너지-지연 곱(energy-delay product, EDP)에서 최대 4.84배, 처리량(throughput)에서 1.59배에 이르는 기하 평균 개선을 제공했습니다. 이러한 개선은 서로 다른 자원 예산을 사용하여 달성되었으며 MEDEM의 확장성(scalability)을 입증했고, 51개의 단일 및 다중 모델 DL 워크로드를 사용하여 일반화 가능성을 입증했습니다.