분산 환경에서 120억 개 파라미터 모델을 빠르게 학습하는 방법 (DiLoCo)

AI 모델의 규모가 커지고 분산 학습이 필수화되면서, AI 트레이닝 인프라 자체의 혁신이 중요해지고 있습니다. Google은 'Decoupled DiLoCo'라는 새로운 패러다임을 제시하며 이러한 난제에 접근합니다.

1. 인터넷 스케일에서의 분산 학습 실현:
DiLoCo는 기존의 복잡한 전용 네트워크 인프라를 요구하지 않습니다. 단지 2-5 Gbps 수준으로 달성 가능한 일반 광역 통신망(wide-area networking)만으로도 충분합니다. 이를 통해 AI 트레이닝 자원을 물리적으로 분리된 여러 지역에 배치할 수 있으며, 이전에 '사장되어 있던' 컴퓨팅 자원(stranded resources)을 유효한 용량으로 활용할 수 있게 합니다.

2. 압도적인 속도와 효율성:
가장 주목할 만한 점은 성능입니다. DiLoCo 시스템은 120억 개 파라미터 모델을 네 개의 미국 지역에 걸쳐 학습시키는 과정에서, 기존의 동기화(synchronization) 방식보다 20배 이상 빠른 속도를 달성했습니다. 이는 시스템이 통신 요구 사항을 계산 시간의 긴 구간에 통합함으로써, 한 부분이 다른 부분의 완료를 기다려야 하는 '블로킹(blocking)' 병목 현상을 근본적으로 회피했기 때문입니다.

3. 하드웨어 세대 혼합 학습 (Mixed-Generation Training):
DiLoCo는 단순한 효율성을 넘어, AI 트레이닝의 유연성 자체를 혁신합니다. 이 시스템은 TPU v6e와 같은 최신 칩과 TPU v5p 같은 구형 칩을 하나의 학습 작업에 함께 사용할 수 있도록 합니다. 이는 단순히 자원 활용도를 높이는 것을 넘어, 하드웨어의 경제적 수명(useful life)을 연장하고 전체 컴퓨팅 용량을 극대화합니다. 실험 결과, 서로 다른 세대의 칩들이 각기 다른 속도로 작동함에도 불구하고, 단일 칩 타입으로만 학습했을 때와 동등한 수준의 ML 성능을 유지했습니다.

결론:
Decoupled DiLoCo는 AI 트레이닝 인프라를 '전체 스택(full-stack)' 관점에서 재고하게 만듭니다. 인터넷 규모의 대역폭으로 분산 학습을 가능하게 하고, 통신 병목 현상을 극복하며, 하드웨어 세대 간 장벽까지 허물어 다음 세대 AI 발전에 필요한 강력하고 탄력적인 시스템 기반을 마련합니다.