ICP: 불규칙한 메모리 액세스 프리페칭을 위한 명령어 상관관계 활용

불규칙한 메모리 액세스 (Irregular memory accesses)는 효과적이고 효율적인 데이터 프리페칭 (Data prefetching)에 어려움을 줍니다. 최근 시계열 프리페처 (Temporal prefetchers)가 불규칙한 메모리 액세스 패턴에서 가능성을 보여주었으나, 이들의 효과는 근본적으로 주소의 시간적 재발 (Temporal address recurrence)과 대규모 메타데이터 저장 (Metadata storage)에 의존합니다. 간접 메모리 액세스 (Indirect memory accesses)와 같이 메모리 주소의 재발이 약하거나 없는 경우, 시계열 프리페처는 상당한 저장 오버헤드 (Storage overhead)를 발생시키면서도 제한적인 성능 향상만을 달성합니다. 본 논문은 불규칙한 메모리 액세스를 처리하기 위해 메모리 주소 상관관계 (Memory-address correlations) 대신 명령어 수준의 상관관계 (Instruction-level correlations)를 활용하는 새로운 하드웨어 프리페칭 메커니즘인 ICP (Instruction-Correlation Prefetching)를 제안합니다. ICP는 메모리 주소는 반복되지 않더라도, 해당 주소를 생성하는 명령어들은 안정적인 데이터 의존 관계 (Data-dependency relationships)를 가지며 자주 반복된다는 점에 주목합니다. 이러한 지속적인 명령어 상관관계를 학습함으로써, ICP는 상관관계가 있는 이전 명령어들의 실행 결과 (Execution results)를 사용하여 미래의 불규칙한 액세스를 투기적으로 계산하고 프리페칭합니다. 불규칙한 SPEC CPU 및 GAP 벤치마크 전반에 걸쳐, ICP는 최신 시계열 프리페처인 Triangel보다 14.0%, 간접 프리페처인 DMP보다 6.0% 더 높은 성능을 보였으며, 하드웨어 저장 공간은 시계열 프리페처보다 3개 차수(Orders of magnitude) 이상 작은 2.1 KB만을 요구합니다.