p-DCIM: LLM-RAG 파이프라인 내 근접 메모리 컨텍스트 선택을 위한 28nm 확률론적 SRAM DCIM 기반 이징 머신

요약

본 논문은 LLM의 RAG 파이프라인에서 컨텍스트 선택에 필요한 에너지를 줄이기 위해 SRAM DCIM 기반 이징 머신을 제시합니다. 증거 선택 과정을 QUBO 문제로 재정식화하고, 이를 28nm 공정의 디지털 컴퓨트-인-메모리(DCIM) 매크로로 구현했습니다. 이 하드웨어 가속기는 기존 대비 에너지 소비를 크게 줄이면서도 비교 가능한 성능을 유지합니다.

핵심 포인트

• RAG 컨텍스트 선택 단계를 근접 메모리 이징 솔버로 대체함.
• 28nm 공정의 DCIM 매크로를 통해 하드웨어 가속기를 구현함.
• 에너지 소비를 쿼리당 총 67% 감소시키면서 성능을 유지함.
• HBM/HBF 스택 내 로직 베이스-다이 통합을 제안함.