NUMA-Torch: 멀티 소켓 CPU에서 컴파일러 기반의 NUMA 인식 LLM 프리필 처리

요약

대규모 LLM의 멀티 소켓 CPU 처리는 NUMA 토폴로지를 무시하여 DRAM 대역폭 병목을 겪습니다. 본 연구는 컴파일러 수준에서 NUMA 인식 텐서 병렬 처리(NUMA-TP)를 도입하여 이 문제를 해결합니다. 이를 통해 데이터 지역성을 강제하고, GPT-2 등 모델에서 최대 2배 이상의 프리필 속도 향상을 달성했습니다.

핵심 포인트

• 표준 PyTorch 컴파일은 멀티 소켓 CPU의 NUMA 토폴로지를 무시하는 문제가 있습니다.
• NUMA-TP는 각 NUMA 소켓을 독립적인 텐서 파티션으로 취급하여 병목 현상을 해결합니다.
• CPU 친화도(affinity)를 사용하여 메모리 할당과 스레드 풀을 로컬 소켓에 엄격히 국한시킵니다.
• 듀얼 소켓 Haswell 플랫폼에서 최대 2.63배의 프리필 속도 향상이 검증되었습니다.