Affinity Tailor: 대규모 환경에서의 동적 로컬리티 인식 스케줄링

현대적인 대용량 멀티코어 시스템은 Linux CFS와 같은 스케줄러 하에서 CPU 를 공유하며 여러 워크로드를 실행하는 경우가 많습니다. CPU 를 유휴 상태로 두지 않기 위해 이러한 스케줄러들은 실행 가능한 작업을 로드 밸런싱하여 각 워크로드가 많은 코어에서 실행되도록 합니다. 이는 마이크로아키텍처 수준의 로컬리티 (locality) 를 약화시킵니다: 워크로드들은 캐시, 분기 예측기 (branch predictors), 프리페터 (prefetchers) 에서 재사용 (reuse) 을 상실하고 서로 간섭이 더 심해집니다 - 특히 칩렛 기반 (chiplet-based) 시스템에서는 코어에 걸친 실행의 분산이 LLC (Last Level Cache) 경계를 넘나드는 분산으로 이어지기 때문입니다. 자연스러운 대안인 엄격한 CPU 파티셔닝은, 그러나 워크로드가 할당받은 CPU 를 완전히 사용하지 않을 때 용량이 비어있게 됩니다. 우리는 핵심 통찰력 - 즉, 커널이 CPU 를 공유하는 워크로드에 대해 수요 크기의 토폴로지적으로 콤팩트한 CPU 세트를 엄격한 파티션이 아닌 애피니티 힌트 (affinity hints) 로 취급함으로써 로컬리티를 보존할 수 있다는 점 - 을 바탕으로 한 사용자 공간 가이드드 커널 스케줄링 시스템인 Affinity Tailor 를 제시합니다. 사용자 공간 컨트롤러는 각 워크로드의 CPU 수요를 온라인으로 추정하고, 다른 워크로드와 가능한 한 분리되도록 하며 LLC 도메인을 가능한 적게 포함하도록 선택된 선호도 CPU 세트를 할당합니다. 커널은 이 세트를 애피니티 힌트로 사용하여 스레드를 해당 CPU 로 유도하면서도 필요에 따라 활용도를 보존하기 위해 타 nơi 에서 실행을 허용합니다. 구글에서 배포된 Affinity Tailor 는 Linux CFS 대비 칩렛 기반 시스템에서 12%, 비칩렛 시스템에서는 3% 의 CPU 당 평균 기하평균 (geometric-mean) 처리량 향상을 제공합니다. 또한 더 빠른 실행은 메모리 체류 시간 (memory residency) 을 줄여 GB 당 처리량 향상을 3-7% 달성합니다. 우리의 연구 결과는 미래의 스케줄러가 작업 보존 (work-conservation) 을 희생하더라도 공간적 로컬리티 (spatial locality) 를 일급 목표 (first-class objective) 로 취급해야 함을 시사합니다.