LizTail: 세그먼트 재구성 가능한 시스톨릭 어레이로 셰이프 적응과 공간 병렬성을 통합하다

시스톨릭 어레이(Systolic arrays)는 신경망 추론을 가속화하는 데 광범위하게 사용되지만, 고정된 2차원 배열은 CNN 및 트랜스포머 기반 대규모 언어 모델(LLM) 전반에 걸쳐 존재하는 행렬 기하학 및 이용 가능한 병렬성의 상당한 다양성에 어려움을 겪습니다. 이러한 불일치는 특히 마른 행렬(skinny matrices), 소규모 배치 자기회귀 디코딩, 그리고 여러 독립적인 파티션(partitions)을 포함하는 연산자에서 심각하게 나타나며, 낮은 처리 요소(PE) 활용률과 반복적인 공간 폴딩(spatial folding)을 초래합니다. 기존의 재구성 가능한 배열들은 일반적으로 셰이프 적응 또는 분산 실행 중 하나를 개선할 뿐이며, 둘 다 지원하기 위한 세밀한 라우팅은 상당한 상호 연결(interconnect), 버퍼링(buffering), 제어 오버헤드를 발생시킵니다. 본 논문에서는 LizTail을 제시합니다 (lizard tail 자가 절단에서 이름을 따왔으며, 미리 정의된 파열면이 세그먼트들이 분리되어 독립적으로 활성화될 수 있게 하는 것과 유사하며, 이는 LizTail의 사전 정의된 재구성 경계와 같습니다). LizTail은 $128 imes128$ 배열을 32개의 규칙적인 $128 imes4$ 세그먼트로 파티션하고 미리 정의된 끝점(endpoints)에서만 연결성을 추가함으로써 제약된 세그먼트 수준 재구성을 가능하게 하는 다중 모드 시스톨릭 어레이입니다. 결과로 생성된 기판은 트리밍(trimming), $180^ ext{o}$ 턴백 연결을 통한 장 경로 확장(long-path extension), 그리고 각 서브 배열 자체가 트리밍되거나 확장될 수 있는 분산 실행을 지원합니다. 차별화된 PE 데이터패스와 세그먼트 인식 CEB/SIB 버퍼는 무제한적인 PE 수준 라우팅 없이 필요한 컴퓨팅 및 데이터 전달 유연성을 제공합니다. 하드웨어 제약 매퍼(mapper)가 실행 구성, 데이터 흐름, 작업 파티션, 그리고 타일링을 선택합니다. 대표적인 워크로드 전반에 걸쳐 LizTail은 TPU와 유사한 배열 대비 CNN 추론에서 $5.02 imes$, LLM 디코딩에서 $25.67 imes$의 기하 평균 속도 향상을 달성하는 동시에, EDP(Energy Delay Product)를 최대 $38.23 imes$ 감소시킵니다. LizTail은 https://github.com/kmjbwxa/LizTail에서 오픈 소스되었습니다.