심층 신경망의 보편성: Lindeberg 교환 원리를 통한 접근법
요약
이 논문은 일반 가중치를 가진 연결된 심층 신경망의 무한 너비 극한을 분석하며, 활성화 함수에 대한 적절한 규칙성을 가정합니다. 핵심 목표는 네트워크와 그 무한 너비 고스산 극한 사이의 2-Wasserstein 거리의 정량적 일반적 상수를 증명하는 것입니다. 이를 위해 저자들은 심층 신경망에 적용할 수 있는 Lindeberg 원리를 주요 도구로 사용하여, 각 층의 가중치를 순차적으로 고스산 확률 변수로 대체합니다.
핵심 포인트
- 심층 신경망의 무한 너비 극한을 수학적으로 분석하는 접근법을 제시합니다.
- 2-Wasserstein 거리를 이용하여 네트워크와 그 극한 사이의 정량적 상수를 증명합니다.
- 분석의 핵심 도구로 Lindeberg 원리를 활용하여 가중치를 확률 변수로 대체합니다.
- 활성화 함수에 대한 적절한 규칙성(regularity) 가정이 필요합니다.
수학 > 확률론
제목: 심층 신경망의 보편성: Lindeberg 교환 원리를 통한 접근법
PDF 보기, HTML (실험적)
추상: 일반 가중치를 가진 연결된 심층 신경망의 무한 너비 극한을 고려하며, 활성화 함수에 대한 적절한 규칙성을 가정할 때 네트워크와 그 무한 너비 고스산 극한 사이의 2-Wasserstein 거리의 정량적 일반적 상수를 증명합니다. 우리의 주요 도구는 심층 신경망을 위한 Lindeberg 원리로, 이를 사용하여 각 층의 가중치를 순차적으로 고스산 확률 변수로 대체합니다.
현재 검색 컨텍스트:
문헌 및 인용 도구
이 논문과 관련된 코드, 데이터 및 미디어
데모
추천 및 검색 도구
arXivLabs: 커뮤니티 협력자를 통해 새로운 arXiv 기능을 개발하고 공유할 수 있는 프레임워크입니다.
arXivLabs 와 함께 일하는 개인과 조직은 openness(개방성), community(커뮤니티), excellence(우수함), 그리고 user data privacy(사용자 데이터 프라이버시) 의 가치를 수용하고 지지합니다. arXiv 는 이러한 가치에 헌신하며, 이 가치들을 준수하는 파트너만 협력합니다.
arXiv 의 커뮤니티에 추가적인 가치를 제공하는 프로젝트 아이디어가 있으신가요? arXivLabs 에 대해 자세히 알아보기.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기