아날로그 Compute-In-Memory 시스템에서 노이즈에 강한 LLM 추론을 위한 선택적 KV 캐시 보호 기술

요약

아날로그 Compute-In-Memory(CIM) 시스템에서 LLM 추론 시 발생하는 하드웨어 노이즈 문제를 해결하기 위한 연구입니다. 중요 토큰은 디지털로 처리하고 대량의 KV 캐시는 아날로그로 처리하는 계층적 보호 전략을 제안합니다.

핵심 포인트

• 아날로그 CIM의 동적 어텐션 연산 시 발생하는 하드웨어 노이즈 분석
• 싱크 토큰과 최근 토큰은 디지털로, 나머지 KV 캐시는 아날로그로 처리하는 계층적 전략
• 노이즈 환경에서 퍼플렉시티(Perplexity)를 베이스라인 수준으로 대폭 개선
• 동적 KV 프로그래밍 행 활용도를 23.1%에서 91.2%로 향상