제가 이 논문을 다 읽었습니다. 'Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour'입니다. 무엇이 문제인가요? 이 논문은 1개의 GPU에서 수행된 실험을 수천 개로 확장하는 문제를 다루며, N개의 GPU에서 수행된 실험은 1개의 GPU에서 수행된 것의 선형 외삽(linear extrapolation)으로 설명될 수 있다는 점에 주목합니다! 어떻게 하는가? 그들은 학습률과 미니배치 크기를 선형적으로 외삽하는 관점에서 이를 수행합니다. 그들의 이론은, 하나의 큰 전역 배치 크기(global big batch size)를 N개의 노드(GPU)용 K개의 미니배치로 나눌 수 있으며, 1개 배치의 학습률을 다음 공식으로 N개의 노드를 지원하도록 선형적으로 조정할 수 있다는 것입니다: learning_rate_new = learning_rate * (nk/baseline_batch_size). 이 학습률은 단일 노드에서 얻을 수 있는 최적의 값이며, baseline_batch_size는 작업에 사용하고 만족스러운 결과를 얻었던 최적의 배치 크기입니다! 이는 전역 큰 배치 크기에 대한 기울기(gradient)가 미니배치 크기에 대한 것들의 합으로 표현될 수 있다는 강력한 가정에 기반합니다! 물론 이것은 기울기 상태 등에 너무 많은 차이가 있는 등 여러 상황에서 쉽게 깨질 수 있습니다. 학습 스케줄러(linear warmup)를 사용하여, 그들은 최대 8k개의 미니배치까지 작동시켜 1개 GPU에서 수행된 것과 일치하는 훈련 및 검증 통계를 맞추는 데 성공했습니다! 또한 파이프라이닝(pipelining)이라는 개념도 사용했는데, 이는 이전 레이어 작업이 완료되는 즉시 기울기 계산을 시작하여 버블(GPU가 작업을 기다리는 시간 지연)이 발생하지 않도록 전송하는 방식입니다. 참고로, 그들은 옵티마이저로 모멘텀(momentum)을 사용하는 SGD를 사용했습니다. 결론적으로 핵심은 더 많은 노드와 함께 학습률을 어떻게 확장할 것인가 하는 것이며, 이는 멋진 개념입니다! /u/East-Muffin-6472가 제출함 [링크] [댓글]