AI 모델 아키텍처가 급격히 다양해지고 있습니다. 오늘날의 CNN 및 Transformer의 기반은 밀집 행렬 곱셈(dense matrix multiplication)이지만, 새롭게 등장하는 아키텍처들(상태 공간 모델(state-space models), 고속 푸리에 변환(FFT)을 통한 긴 컨볼루션(long convolutions), Kolmogorov-Arnold 네트워크, 스파이킹 네트워크(spiking networks))은 곱셈-누산(MAC) 연산이 지배적이지 않습니다. 이러한 모델들은 연산의 상당 부분을 벡터 및 비-MAC 프리미티브(non-MAC primitives)에 소비하며, 이는 동질적(homogeneous)이고 MAC 중심적인 신경망 처리 장치(NPU)로는 효율적으로 처리하기 어렵습니다. 이로 인해 서로 다른 타일(tile)들로 구성된 이기종 NPU(Heterogeneous NPUs, HPUs)의 필요성이 제기되었습니다. 기존의 이기종 설계들은 한두 개의 거친 조절 요소(typically MAC precision 또는 array size)만을 변경하며 좁은 범위의 워크로드에서 평가되었습니다. 여러 아키텍처 차원에서 동시에 타일이 달라지는 미세한(fine-grained) HPU 설계를 지원하는 기존 프레임워크는 존재하지 않습니다.

본 논문에서는 HPU 마이크로아키텍처 설계를 위한 분석적 시뮬레이터 및 설계 공간 탐색(Design-Space-Exploration, DSE) 프레임워크인 MOSAIC를 제시합니다. MOSAIC는 타일 수준의 이기종성을 결합한 공간을 탐색합니다. 어레이 크기와 정밀도를 넘어, 타일 유형 구성(대형 Big, 소형 Little, 비-MAC Special-Function 타일), 데이터 흐름(dataflow), 희소성 모드(sparsity mode), MAC 엔진 유형, 그리고 비-MAC 연산자(FFT, spiking-integrate, polynomial)를 위한 특수 기능 유닛(special-function units)을 다양하게 변경합니다. 단일한 동질적 타일 유형만을 모델링하는 기존 시뮬레이터와 달리, MOSAIC는 비-MAC 타일을 고유의 에너지, 면적 및 타이밍 모델과 함께 모델링하며, 이기종성을 인식하는 컴파일러(heterogeneity-aware compiler)를 통해 혼합된 타일들에 연산자를 매핑합니다.

층화 추출 탐색(stratified sweep)과 유전 알고리즘(genetic-algorithm) 정밀화를 결합한 멀티 시드 파이프라인은 파레토 최적(Pareto-optimal) 설계를 도출하며, 비용 모델은 7nm 공정에 맞춰 교정되었고 NVIDIA의 Deep Learning Accelerator(NVDLA)를 통해 교차 검증되었습니다. 20개의 워크로드 제품군에 걸쳐, MOSAIC가 찾아낸 최적의 범용 HPU(~200 mm^2 Big+Little+Special-Function)는 최적의 동일 면적 동질적 베이스라인(iso-area homogeneous baseline) 대비 평균 면적 동일 에너지 절감(mean iso-area energy savings) 효과를 +46.91% 달성했습니다.