CIMERA: 재구성 가능한 정밀도를 갖춘 인터커넥트 및 메모리 내 컴퓨팅을 통한 LLM 추론 가속기

요약

본 논문은 LLM의 계산 및 메모리 요구 사항으로 인한 전반적인 추론 효율성 문제를 해결하기 위해 CIMERA라는 새로운 가속기를 제안합니다. CIMERA는 컴퓨팅, 인터커넥트, 메모리를 통합하고 재구성 가능한 정밀도를 활용하여 에너지 효율성을 극대화했습니다.

핵심 포인트

• LLM은 높은 계산 및 메모리 요구 사항으로 추론에 어려움을 겪는다.
• CIMERA는 컴퓨팅-인터커넥트-메모리를 통합한 가속기이다.
• 재구성 가능한 정밀도를 통해 에너지 효율성을 높였다.
• Nvidia H100 대비 높은 에너지 효율을 달성했다.