CIMple: SRAM 기반 CIM으로 어텐션 가속화하는 방법

요약

LLM을 엣지 디바이스에 배포할 때 발생하는 자원 제약 문제를 해결하기 위해, 본 논문은 메모리 내 연산(Compute-in-Memory, CIM) 기반의 어텐션 가속기 'CIMple'을 제안합니다. 기존 CIM 구조가 정적 MAC 연산만 지원하여 비선형 연산 구현에 한계가 있었던 문제를 해결하고자 했습니다. CIMple은 8비트 병렬 가중치 피딩과 LUT(Look-Up Table) 기반의 고정 소수점 분할 소프트맥스(split softmax)를 도입하여, 트랜스포머 모델의 핵심인 셀프 어텐션 연산을 효율적으로 처리합니다. 28nm

핵심 포인트

• CIMple은 8비트 병렬 가중치 피딩을 사용하는 이중 은행식 CIM 기반의 완전 디지털 셀프 어텐션 가속기입니다.
• LUT(Look-Up Table) 기반 고정 소수점 구현 방식을 채택하여, 정확도 손실을 최소화하면서 지연 시간(latency)을 줄였습니다.
• 28nm 공정에 구현된 32kb CIM 기반 셀프 어텐션 가속기는 INT8 정밀도로 0.85V에서 26.1 TOPS/W 및 1.2V에서 2.31 TOPS/mm²의 성능을 달성했습니다.