DiLoCo 알고리즘을 활용한 Apple Silicon Mac 다중 네트워크 구성 및 분산 ML 훈련: 전통적 방식 대비 500 배 적은 네트워크 트래픽

요약

DiLoCo 알고리즘은 여러 대의 Apple Silicon Mac을 네트워크로 연결하여 분산 머신러닝(ML) 훈련을 수행할 때, 기존 방식 대비 네트워크 트래픽을 500배까지 줄이는 혁신적인 방법을 제공합니다. 이 방법은 각 장치가 독립적으로 일정 단계만큼 훈련한 후, 전체 기울기 대신 가중치(pseudo-gradients)만을 동기화하여 통신 부하를 획기적으로 감소시킵니다. 이를 통해 Wi-Fi 환경에서도 효율적이고 안정적인 분산 ML 훈련이 가능해지며 mDNS 지원을 포함합니다.

핵심 포인트

• DiLoCo 알고리즘은 Apple Silicon Mac 기반의 다중 장치 네트워크에서 분산 ML 훈련에 사용됩니다.
• 기존 방식 대비 네트워크 트래픽을 최대 500배까지 줄여 통신 효율성을 극대화합니다.
• 전체 기울기(gradients) 대신 가중치(pseudo-gradients)만을 동기화하여 데이터 전송량을 최소화합니다.
• Wi-Fi 환경과 mDNS 지원을 통해 실제 사용 가능한 분산 훈련 시나리오를 제공합니다.