캐시 및 TLB 관리를 통한 명령어 프리페칭 (Instruction Prefetching) 강화

현대적인 서버 워크로드 (Server workloads)는 프로세서 프런트엔드 (Front-end)에 큰 압박을 가하는 방대한 명령어 발자국 (Instruction footprints)을 나타내며, 이로 인해 성능 유지를 위한 L1 명령어 캐시 (L1I) 프리페칭 (Prefetching)이 매우 중요해졌습니다. 그러나 본 논문은 현재의 L1I 프리페처 (Prefetchers)가 두 가지 주요 한계로 인해 잠재력을 완전히 발휘하지 못하고 있음을 보여줍니다. 첫째, 페이지 경계 (Page boundaries)를 넘나드는 L1I 프리페치는 발행 전 주소 변환 (Address translation)이 필요하며, 이 변환 지연 시간 (Translation latency)이 프리페칭의 적시성을 저하시킵니다. 둘째, L1I 프리페치에 의해 가져온 코드 라인 (Code lines)의 재사용 동작 (Reuse behavior)은 매우 이질적입니다. 일부 라인은 여러 번 재사용되는 반면, 다른 라인들은 도착 즉시 폐기 (Dead-on-arrival)됩니다. 본 논문은 L1I 프리페칭을 위해 TLB와 캐시 관리를 공동으로 최적화하는 최초의 마이크로아키텍처 (Microarchitectural) 프레임워크인 IP-CaT (Instruction Prefetch-Centric Cache and TLB Management)를 소개합니다. IP-CaT는 두 가지 구성 요소로 이루어집니다: (i) tPB (translation Prefetch Buffer): 페이지 경계를 넘는 L1I 프리페치에 의해 가져온 페이지 테이블 엔트리 (Page table entries)를 저장하여 변환 오버헤드 (Translation overheads)를 줄이는, 2단계 TLB (sTLB)와 함께 배치된 작은 구조체; (ii) TIPRP (Trimodal Instruction Prefetch Replacement Policy): L1I 프리페치에 의해 가져온 라인에 특화된 의사결정 트리 (Decision-tree) 기반의 L2 캐시 교체 정책 (Replacement policy). 우리는 세 가지 최첨단 L1I 프리페처인 EPI, FNL+MMA, 그리고 Barca를 사용하여 IP-CaT를 평가합니다. 105개의 현대적인 서버 워크로드를 대상으로 실험한 결과, IP-CaT는 일관되게 성능을 향상시켰습니다. 예를 들어, IP-CaT+EPI는 EPI 단독 사용 시보다 8.7%의 기하평균 (Geomean) 속도 향상을 달성했습니다. 나아가 우리는 IP-CaT가 최첨단 명령어 TLB 프리페칭, 고급 TLB 교체 정책 (CHiRP), 그리고 Emissary, SHiP++, Mockingjay를 포함한 최첨단 코드 인식 (Code-aware), 프리페치 인식 (Prefetch-aware) 및 범용 캐시 교체 정책들보다 우수한 성능을 보임을 입증했습니다.