CacheFlex: 고성능 캐시를 위한 소프트웨어 관리 직접 접근 지원

요약

본 연구는 L2 캐시 메모리 영역의 일부를 스크래치패드 메모리(SPM)로 변환하여 소프트웨어가 사설 L2 SRAM에 직접 접근하고 관리할 수 있도록 하는 CacheFlex라는 ISA 기반 아키텍처를 제안합니다. 이를 통해 AI 커널 및 트랜스포머 레이어 워크로드에서 데이터 배치와 생명 주기를 명시적으로 제어함으로써 성능과 에너지 효율성을 크게 향상시킵니다.

핵심 포인트

• L2 캐시의 일부를 SPM으로 변환하여 소프트웨어 접근을 가능하게 함.
• ISA 확장 및 공동 설계를 통해 메모리 서브시스템을 직접 제어함.
• GEMM, FlashAttention 등 AI 커널에서 높은 속도 향상(최대 1.78배)과 에너지 절감을 달성함.
• 벡터 길이 증가에 따라 CacheFlex의 이점이 더욱 커지는 것을 입증함.