CIMERA: 재구성 가능한 정밀도를 갖춘 인터커넥트 및 메모리 내 컴퓨팅을 통한 LLM 추론 가속기
요약
본 논문은 LLM의 계산 및 메모리 요구 사항으로 인한 전반적인 추론 효율성 문제를 해결하기 위해 CIMERA라는 새로운 가속기를 제안합니다. CIMERA는 컴퓨팅, 인터커넥트, 메모리를 통합하고 재구성 가능한 정밀도를 활용하여 에너지 효율성을 극대화했습니다.
핵심 포인트
- LLM은 높은 계산 및 메모리 요구 사항으로 추론에 어려움을 겪는다.
- CIMERA는 컴퓨팅-인터커넥트-메모리를 통합한 가속기이다.
- 재구성 가능한 정밀도를 통해 에너지 효율성을 높였다.
- Nvidia H100 대비 높은 에너지 효율을 달성했다.
LLM은 상당한 계산 및 메모리 요구 사항을 부과하여 데이터 센터부터 전력 제약이 있는 엣지 장치에 이르기까지 플랫폼 전반에서 에너지 효율적인 추론에 어려움을 야기합니다. 가중치 정밀도는 추론 정확도, 처리량(throughput), 에너지 소비 간의 균형을 맞추는 데 중요한 역할을 하며, 현대 LLM 워크로드는 적응형 정밀도 실행을 선호하는 뚜렷한 이질성과 허용성을 보입니다. 본 논문은 메모리 벽(memory wall)을 완화하고 정밀도 인식 실행을 가능하게 하는 컴퓨팅-인터커넥트 및 메모리를 통합한 재구성 가능한 정밀도의 LLM 추론 가속기, CIMERA를 제시합니다. CIMERA는 Nvidia H100 대비 각각 1B 및 13B 모델에서 최대 $25 imes$와 $10 imes$ 높은 에너지 효율을 제공합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AR의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0