Regular-Dead on Arrival: GPU 마이크로아키텍처에서의 Dead-Entry TLB Miss 특성 분석 및 방어 기법

대규모 메모리 사용량 (Memory footprint)을 가진 GPU 워크로드 (Workloads)는 최근에 축출된 (evicted) 변환 정보가 전체 페이지 워크 (Page-walk) 비용을 들여 즉시 다시 탐색되는 중복적인 L2 TLB 미스 (L2 TLB misses) 문제를 빈번하게 겪습니다. 본 연구에서는 24개의 GPU 워크로드를 통해 이러한 Dead-entry 미스의 특성을 분석하였으며, TLB 민감도가 가장 높은 애플리케이션에서는 L2 TLB 미스의 최대 99%가 이로 인해 발생하지만, 성능에 미치는 영향은 메모리 액세스 구조에 따라 크게 달라진다는 것을 발견했습니다. 워프 (Warps)가 동일한 가상 페이지 (Virtual page)를 공유하는 워크로드의 경우, 단일 축출이 하나의 변환 정보가 반환될 때까지 기다리는 수많은 워프를 동시에 중단시키는 버스트 증폭 (Burst amplification) 현상을 겪습니다. 반면, 각 워프가 서로 다른 페이지 세트에 액세스하는 워크로드는 어떤 교체 정책 (Replacement policy)으로도 해결할 수 없는 용량 초과 (Capacity-overflow) 문제에 직면하며, 이러한 차이는 거대 페이지 (Huge page) 실험을 통해 검증되었습니다. 이 두 가지 분류 체계 (Taxonomy)를 바탕으로, 본 연구는 최근 축출된 변환 정보가 재설치 즉시 다시 밀려나는 것을 방지하는 1 KB Bloom filter 메커니즘인 DEPOT (Dead-Entry PrOTection)를 설계했습니다. DEPOT는 간섭 주도형 (Interference-driven) 워크로드에서 최대 72%의 IPC 향상을 제공하며, 다른 워크로드에서는 오버헤드가 전혀 없습니다. 또한 최신 TLB 프리페칭 (Prefetching) 및 압축 (Compaction) 메커니즘과 결합하여 2%에서 7%의 추가적인 성능 이득을 제공합니다.