Voxel을 활용한 voxel 기반 LLM 추론을 위한 3D 스택형 AI 칩 아키텍처 효율성 탐구

요약

본 기술 기사는 메모리 병목 현상을 극복하기 위한 3D 스택형 AI 칩 아키텍처의 효율성을 탐구하는 내용을 다룹니다. 저자들은 LLM 추론에 특화된 빠르고 컴파일러 인식(end-to-end) 시뮬레이션 프레임워크인 Voxel을 개발했습니다. Voxel은 소프트웨어와 하드웨어를 통합적으로 분석하여, 컴퓨팅 패러다임부터 메모리 매핑 전략, NoC 토폴로지, 에너지 제약 조건에 이르기까지 다양한 요소들이 3D 스택형 AI 칩의 최종 효율성에 어떻게 기여하는지 심층적으로 보여줍니다.

핵심 포인트

• 3D 스택형 아키텍처는 TSV를 활용하여 컴퓨팅과 메모리 간 초고속 대역폭을 제공함으로써 기존 AI 칩의 메모리 병목 현상을 해결할 잠재력을 가집니다.
• 개발된 Voxel 프레임워크는 LLM 추론에 최적화되었으며, ML 컴파일러가 모델 실행 계획을 사용자 정의할 수 있는 프로그래밍 인터페이스를 제공합니다.
• Voxel 시뮬레이션을 통해 3D 스택형 AI 칩의 효율성은 단순히 개별 요소의 성능이 아닌, 타일-코어 매핑 및 텐서-뱅크 매핑과 같은 요소들의 '협력적 기능'에 크게 의존함을 입증했습니다.
• 분석된 주요 변수들로는 NoC 토폴로지, DRAM/SRAM 용량, 에너지/열 제약 조건 등이 있으며, 이들이 엔드투엔드 효율성에 미치는 상관관계를 면밀히 조사했습니다.