지능형 프리페칭을 향하여: 복잡한 메모리 액세스 예측 기술에 관한 조사

데이터 프리페칭 (Data prefetching)은 미래의 메모리 액세스를 예측하고 요청이 발생하기 전에 데이터를 온칩 캐시 (on-chip caches)로 가져옴으로써 프로세서와 메모리 간의 성능 격차를 줄이는 핵심적인 기술입니다. Next-line, stride, 그리고 상관관계 (correlation) 휴리스틱에 기반한 전통적인 프리페처 (prefetchers)들은 규칙적인 액세스 패턴에서는 잘 작동하지만, 그래프 분석 (graph analytics), 희소 행렬 연산 (sparse matrix computations), 포인터 집약적 애플리케이션 (pointer-intensive applications)과 같이 현대 워크로드에서 흔히 나타나는 불규칙하고 데이터 의존적인 패턴에는 근본적으로 부적합합니다. 본 조사 (survey)는 PRISMA 가이드 선택 방법론을 사용하여 논문들을 체계적으로 검토합니다. 우리는 프리페칭 기술을 세 가지 차원으로 구성하는 구조화된 분류 체계 (taxonomy)를 제안합니다: 공간적 및 시간적 지역성 (spatial and temporal locality)을 포함하는 지역성 유형 (locality type); 하드웨어, 소프트웨어, 그리고 하이브리드 (hybrid) 접근 방식을 포함하는 구현 계층 (implementation layer); 그리고 점점 더 중요해지는 머신러닝 (ML) 기반 프리페처의 경우, 지도 학습 (supervised), 강화 학습 (reinforcement), 비지도 학습 (unsupervised learning)을 포함하는 학습 패러다임 (learning paradigm)과 온라인 (online) 및 오프라인 (offline) 학습을 포함하는 훈련 모드 (training mode)입니다. 저장 오버헤드 (storage overhead), 정확도 (accuracy), 추론 지연 시간 (inference latency), 하드웨어 구현 가능성 (hardware feasibility), 그리고 일반화 능력 (generalization ability)을 기준으로 평가된 ML 기반 프리페처들에 대한 다차원적 비교 분석을 통해, 우리는 세 가지 주요 발견을 식별합니다: 모델 클래스에 의해 정의되는 정확도-오버헤드 파레토 프런티어 (Pareto frontier), 모델 복잡도와 캐시 계층 (cache hierarchy) 레벨 사이의 자연스러운 아키텍처 매핑, 그리고 계층적 앙상블 아키텍처 (hierarchical ensemble architectures)를 유도하는 런타임 적응성 (runtime adaptability)과 모델 용량 (model capacity) 사이의 근본적인 긴장 관계입니다.