TRANSIT: 다중 노드 LLM 학습을 위한 투명한 스케일 인(Scale-in)

TRANSIT은 분산 학습 중 CPU DRAM을 GPU 메모리의 확장으로 투명하게 활용하여 더 적은 GPU로도 다중 노드 모델 학습이 가능하도록 하는 투명한 스케일 인 프레임워크입니다. 이는 사용자 공간 가로채기 계층(user-space interposition layer)을 통해 구현되며, 애플리케이션, 학습 프레임워크, 클러스터 스케줄러, 디바이스 드라이버 또는 운영체제에 어떠한 수정도 필요하지 않습니다. 또한, TRANSIT은 CPU-GPU 전송을 위한 제로 카피 데이터 경로(zero-copy data path)를 활용하여 더 높은 효율성을 달성합니다. 우리는 RoCE 네트워크 상에서 최대 64개의 NVIDIA H100 GPU 및 여러 병렬 처리 구성을 아우르는 범위의 밀집형(dense) 모델과 MoE 모델에 대해 TRANSIT을 평가했습니다. 우리의 평가는 TRANSIT이 다음을 수행할 수 있음을 보여줍니다: (a) TorchTitan, ZeRO-Offload, 그리고 ZeRO-Infinity보다 각각 최대 68%, 59%, 42% 높은 GPU당 처리량(per-GPU throughput)을 달성하며 최신 프레임워크 관리 오프로딩 기술(state-of-the-art framework-managed offloading techniques)을 능가합니다. (b) 기준선 대비 90% 이상의 GPU당 처리량을 유지하면서 GPU를 50% 적게 사용하여 학습할 수 있게 합니다. (c) 노드당 네트워크 트래픽을 최대 33%까지 낮추고, (d) 통신 제한 환경(communication-bound settings)에서 GPU당 처리량을 최대 35% 향상시킵니다.