요약

이 논문은 일반 가중치를 가진 연결된 심층 신경망의 무한 너비 극한을 분석하며, 활성화 함수에 대한 적절한 규칙성을 가정합니다. 핵심 목표는 네트워크와 그 무한 너비 고스산 극한 사이의 2-Wasserstein 거리의 정량적 일반적 상수를 증명하는 것입니다. 이를 위해 저자들은 심층 신경망에 적용할 수 있는 Lindeberg 원리를 주요 도구로 사용하여, 각 층의 가중치를 순차적으로 고스산 확률 변수로 대체합니다.

핵심 포인트

• 심층 신경망의 무한 너비 극한을 수학적으로 분석하는 접근법을 제시합니다.
• 2-Wasserstein 거리를 이용하여 네트워크와 그 극한 사이의 정량적 상수를 증명합니다.
• 분석의 핵심 도구로 Lindeberg 원리를 활용하여 가중치를 확률 변수로 대체합니다.
• 활성화 함수에 대한 적절한 규칙성(regularity) 가정이 필요합니다.