분산 환경에서 120억 개 파라미터 모델을 빠르게 학습하는 방법 (DiLoCo)

요약

본 글은 'Decoupled DiLoCo'라는 새로운 분산 AI 학습 패러다임을 소개합니다. 이 시스템은 기존 인터넷 연결 수준의 대역폭(2-5 Gbps)만으로도 120억 개 파라미터 모델을 네 개의 미국 지역에 걸쳐 성공적으로 사전 학습할 수 있음을 보여줍니다. 가장 큰 장점은 기존 동기화 방식 대비 20배 이상 빠른 속도로 학습이 가능하다는 점입니다. 또한, 이 시스템은 서로 다른 세대의 하드웨어(예: TPU v6e와 TPU v5p)를 하나의 학습 작업에 혼합하여 사용할 수 있게 함으로써, 자원 활용도를 극대화하고 인프라 병목현

핵심 포인트

• Decoupled DiLoCo는 2-5 Gbps 수준의 일반 인터넷 대역폭만으로도 분산 AI 학습이 가능하게 합니다.
• 기존 동기화 방식 대비 20배 이상 빠른 속도로, 시스템 간 통신 지연(blocking) 병목 현상을 회피합니다.
• 서로 다른 세대의 하드웨어(예: TPU v6e와 TPU v5p)를 하나의 학습 작업에 혼합하여 사용할 수 있어 자원 활용도를 높입니다.