CAMP: 3D-IMC 배열 기반 LLM을 위한 컨텍스트 인식 매핑 및 배치

요약

LLM의 메모리 접근 오버헤드를 줄이기 위해 AIMC 기반 3D-IMC가 주목받고 있으나, 가중치 배치에 따른 병행성 최적화 문제가 남아있습니다. 본 글은 이를 해결하기 위해 컨텍스트 인식 매핑 및 배치를 제안하는 CAMP 알고리즘을 소개합니다. 이 소프트웨어 솔루션은 3D-IMC 활용도를 높이고 처리량을 개선하여 LLM 가속기 성능 향상에 기여했습니다.

핵심 포인트

• LLMs는 대형 가중치 및 KV 캐시 로딩으로 메모리 오버헤드가 발생합니다.
• CAMP는 아키텍처, 네트워크 등 컨텍스트 기반의 자원 경합을 포착합니다.
• 이 알고리즘은 3D-IMC 컴퓨팅 활용도를 42.4%에서 60.3%로 향상시킵니다.
• 기존 대비 최대 2.0배 높은 3D-IMC 처리량을 제공하는 오프라인 솔루션입니다.