AI 모델의 규모가 커지고 분산 학습이 필수화되면서, AI 트레이닝 인프라 자체의 혁신이 중요해지고 있습니다. Google은 'Decoupled DiLoCo'라는 새로운 패러다임을 제시하며 이러한 난제에 접근합니다.

1. 인터넷 스케일에서의 분산 학습 실현:
DiLoCo는 기존의 복잡한 전용 네트워크 인프라를 요구하지 않습니다. 단지 2-5 Gbps 수준으로 달성 가능한 일반 광역 통신망(wide-area networking)만으로도 충분합니다. 이를 통해 AI 트레이닝 자원을 물리적으로 분리된 여러 지역에 배치할 수 있으며, 이전에 '사장되어 있던' 컴퓨팅 자원(stranded resources)을 유효한 용량으로 활용할 수 있게 합니다.

2. 압도적인 속도와 효율성:
가장 주목할 만한 점은 성능입니다. DiLoCo 시스템은 120억 개 파라미터 모델을 네 개의 미국 지역에 걸쳐 학습시키는 과정에서, 기존의 동기화(synchronization) 방식보다 20배 이상 빠른 속도를 달성했습니다. 이는 시스템이 통신 요구 사항을 계산 시간의 긴 구간에 통합함으로써, 한 부분이 다른 부분의 완료를 기다려야 하는 '블로킹(blocking)' 병목 현상을 근본적으로 회피했기 때문입니다.

3. 하드웨어 세대 혼합 학습 (Mixed-Generation Training):
DiLoCo는 단순한 효율성을 넘어, AI 트레이닝의 유연성 자체를 혁신합니다. 이 시스템은 TPU v6e와 같은 최신 칩과 TPU v5p 같은 구형 칩을 하나의 학습 작업에 함께 사용할 수 있도록 합니다. 이는 단순히 자원 활용도를 높이는 것을 넘어, 하드웨어의 경제적 수명(useful life)을 연장하고 전체 컴퓨팅 용량을 극대화합니다. 실험 결과, 서로 다른 세대의 칩들이 각기 다른 속도로 작동함에도 불구하고, 단일 칩 타입으로만 학습했을 때와 동등한 수준의 ML 성능을 유지했습니다.

결론:
Decoupled DiLoCo는 AI 트레이닝 인프라를 '전체 스택(full-stack)' 관점에서 재고하게 만듭니다. 인터넷 규모의 대역폭으로 분산 학습을 가능하게 하고, 통신 병목 현상을 극복하며, 하드웨어 세대 간 장벽까지 허물어 다음 세대 AI 발전에 필요한 강력하고 탄력적인 시스템 기반을 마련합니다.