분산 사전 학습의 안정성 확보: Decoupled DiLoCo 소개

요약

기존 대규모 언어 모델(LLM) 사전 학습은 단일 프로그램 다중 데이터 (SPMD) 패러다디지에 의존하여, 장치 간의 강한 결합으로 인해 일시적인 지연이나 하드웨어 오류 발생 시 전체 계산이 중단되는 취약점을 가집니다. 본 논문에서 제안하는 Decoupled DiLoCo는 이러한 동기식(synchronous) 병목 현상을 해결하기 위해 DiLoCo 프레임워크를 개선했습니다. 이는 컴퓨팅을 여러 독립적인 '러너(learners)'로 분할하여, 이들이 비동기적으로 파라미터 조각을 중앙 동기화기에 전송하게 합니다. 최소 쿼럼(quorum

핵심 포인트

• Decoupled DiLoCo는 기존의 SPMD (Single Program Multiple Data) 패러다디지가 가진 강한 결합 문제를 해결하여, 시스템 오류나 지연에 강인한 분산 사전 학습 방식을 제시합니다.
• 핵심은 컴퓨팅을 독립적인 '러너(learners)'로 나누고, 이들이 중앙 동기화기에 비동기적으로 파라미터 조각을 전송하도록 설계했다는 점입니다.
• 최소 쿼럼(minimum quorum), 적응형 유예 시간(adaptive grace window), 그리고 토큰 가중치 병합(dynamic token-weighted merging) 기법을 사용하여 실패하거나 지연되는 러너에 영향을 받지 않고 업데이트를 집계합니다.
• 카오스 엔지니어링 (chaos engineering) 원리를 적용하여, 수백만 개의 시뮬레이션 칩 환경에서 전역 다운타임 없이 높은 학습 효율성을 입증했습니다.