SMART-AIMC: 아날로그 인-메모리 컴퓨팅을 위한 세밀한 튜닝이 가능한 민감도 기반 혼합 ADC 해상도

아날로그 인-메모리 컴퓨팅(IMC)은 메모리 배열 내에서 아날로그 영역으로 직접 연산을 수행함으로써 GEMM 기반 AI 워크로드를 가속화하는 유망한 패러다임입니다. IMC는 상당한 에너지 및 처리량 개선을 제공하지만, ADC 양자화 노이즈로 인해 심각한 태스크 정확도 저하를 겪을 수 있습니다. 이 노이즈는 GEMM 출력에서 발생하며, 이는 GEMM 입력에서 발생하는 가중치/활성화(weight/activation) 양자화와 다릅니다. 혼합 ADC 해상도는 IMC 모듈이 서로 다른 에너지 비용을 가진 고해상도 및 저해상도 ADC 모드 중에서 선택할 수 있게 하여 매력적인 정확도-에너지 트레이드오프를 제공합니다. 하지만 하드웨어 세분성(granularity) 제약을 준수하면서 여러 IMC 유닛에 걸쳐 ADC 해상도를 선택하는 것은 여전히 어려운 과제입니다. 본 논문에서는 아날로그 인-메모리 컴퓨팅을 위한 미세 조정 가능성을 갖춘 민감도 인식 혼합 ADC 해상도 프레임워크인 SMART-AIMC를 제안합니다. SMART-AIMC는 알고리즘적 태스크 손실을 ADC 채널 민감도(ADC Channel Sensitivity, ACS)라는 형태로 하드웨어 ADC 양자화 노이즈와 연관시킵니다. 이 지표를 사용하여 SMART-AIMC는 중요한 연산에 ADC 자원을 체계적이고 규율적으로 할당합니다. 나아가, 런타임 오버헤드 없이 하드웨어 세분성 제약을 극복하는 민감도 기반 채널 재정렬 방식(channel reordering scheme)을 도입하여 모델에 대해 가능한 최적의 ADC 양자화에 근접하게 합니다. 다양한 워크로드에서 평가된 SMART-AIMC는 우수한 정확도-에너지 파레토 프론티어(Pareto frontier)를 열어주며, (1) 매칭된 에너지 예산에서 더 높은 태스크 정확도를 제공하고, (2) 공격적인 에너지 절약부터 거의 디지털 추론 정확도에 이르기까지 효율성 목표 전반에 걸쳐 미세 조정 기능을 제공합니다. 후자의 작동 지점에서는 SMART-AIMC가 선형 투영(linear projections)의 경우 INT8 디지털 기준선 대비 $6.99 imes$ 더 높은 모델링된 시스템 레벨 에너지 효율을 달성하며, 정확도 저하는 무시할 수 있는 수준입니다.