분산형 SGD에서 높은 확률의 일반화(Generalization) 공개

요약

본 기사는 분산형 확률적 경사 하강법(D-SGD)의 일반화 성능에 관한 연구입니다. 기존 연구들이 기대값 기반으로 제한된 높은 확률 일반화 경계를 제시했던 것과 달리, 본 논문은 D-SGD가 달성할 수 있는 더 강력한 높은 확률 보장치를 제안합니다. 특히, 단일 작업자(D-SGD $ o$ SGD)의 경우 최적의 높은 확률 일반화 경계가 $O(rac{1}{ ext{root}2 n} ext{log}(1/ ext{δ}))$임을 밝히며, 기존 연구와의 간극을 메우는 데 초점을 맞추고 있습니다.

핵심 포인트

• D-SGD는 대규모 분산 학습 환경에서 효율적인 방법론이다.
• 기존 일반화 연구들은 주로 기대값(expectation)에 기반하여 성능 한계를 제시했다.
• 본 연구는 D-SGD의 높은 확률(high probability) 일반화 경계에 초점을 맞추어 기존 간극을 해소한다.
• 단일 작업자 환경에서 최적의 높은 확률 일반화 경계는 $O(rac{1}{ ext{root}2 n} ext{log}(1/ ext{δ}))$이다.