CACHEFORGE: 성능 및 하드웨어 효율성을 위한 LLM 기반 엔드투엔드 생성 캐시 교체 정책

현대의 캐시 교체 설계는 고정된 표현 구조 내에서 작동하거나, 수작업으로 제작되고 휴리스틱(heuristic) 기반의 피처 엔지니어링 예측기, 또는 자체적으로 새로운 의사 결정 로직을 생성할 수 없는 오프라인 모방 모델에 갇혀 포화 상태에 이르렀습니다. 동시에 캐시 교체는 프리페칭(prefetching), 스래싱(thrashing), 공간 지역성(spatial locality), 접근 유형 행동의 인과적 상호작용에 의해 영향을 받으며, 이는 수동으로 탐색하기 어려운 거대한 설계 공간을 만듭니다. 이전 접근 방식들은 일반적으로 휴리스틱이나 매개변수 튜닝, 또는 오프라인 최적 정책의 모방에 의존하여 상관관계를 포착할 뿐 새로운 메커니즘을 합성하지 못했습니다. 그 결과, 성능 향상이 종종 정체되고 동적인 워크로드 조건에서 과적합(overfit)됩니다. CACHEFORGE는 대규모 언어 모델(LLM)을 제어되는 하드웨어 인식 루프 내에 임베딩하여 캐시 교체 정책을 엔드투엔드로 진화시키는 최초의 프레임워크입니다. 각 반복마다 LLM이 새로운 C++ 교체 로직을 제안하고, 이 정책은 트레이스 기반 CRC-2 ChampSim 시뮬레이터에서 평가되며, 프레임워크는 보상 형성(reward shaping), 구조적 검사(structural checks), 동적 변이(dynamic mutation), 온도 스케줄링(temperature scheduling), 그리고 교차 정책 교차(cross-policy crossover)를 통해 실현 가능성을 강제합니다. 캐시 교체 정책을 위해 특별히 설계된 이 폐쇄 루프 생성-진화(generation-evolution) 루프는 고정된 예측기 구조를 넘어서는 알고리즘적 변환을 탐색하면서 하드웨어 제약 조건을 만족하는 간결한 정책의 발견을 가능하게 합니다. SPEC CPU2006 전반에 걸쳐 CACHEFORGE는 모든 CRC-2 베이스라인보다 우수한 성능을 보였습니다. MPPPB 대비 총 히트율(total hit rate)은 각각 27.36%, 19.69%, 13.72%, 13.15%, 11.83%, 5.73% 향상되었습니다. 메모리 집약적 워크로드에서는 LRU 대비 IPC가 각각 10.15%, 7.89%, 6.34%, 3.64%, 3.12%, 2.71% 증가했습니다.