수학 (Mathematics) > 최적화 및 제어 (Optimization and Control)

제목: 심층 신경망에서의 기울기 폭주 및 소실: 잔차 연결 (residual connections)의 효과

PDF HTML 보기 (실험적) 초록: 심층 신경망 (deep neural networks)에서 잘 알려진 현상인 기울기 폭주 (exploding gradients) 및 소실 (vanishing gradients)을 곱셈적 에르고딕 이론 (multiplicative ergodic theory)을 사용하여 분석합니다. 이 맥락에서 잔차 연결 (residual connection)을 추가하는 효과를 설명합니다. 구체적으로, 리아푸노프 스펙트럼 (Liapunov spectrum)과 그에 미치는 잔차 연결의 효과에 대해 정확한 진술을 하기 위해 Furstenberg와 Kifer에 의한 리아푸노프 지수 (Liapunov exponents)의 특성화를 활용합니다.

현재 탐색 문맥:

서지 및 인용 도구

이 논문과 관련된 코드, 데이터 및 미디어

데모

추천 및 검색 도구

arXivLabs: 커뮤니티 협력자와 함께하는 실험적 프로젝트

arXivLabs는 협력자들이 우리 웹사이트에서 직접 새로운 arXiv 기능을 개발하고 공유할 수 있도록 하는 프레임워크입니다.

arXivLabs와 함께 활동하는 개인 및 조직은 개방성, 커뮤니티, 탁월함, 그리고 사용자 데이터 프라이버시라는 우리의 가치를 수용하고 받아들였습니다. arXiv는 이러한 가치에 전념하며, 이를 준수하는 파트너와만 협력합니다.

arXiv 커뮤니티에 가치를 더할 프로젝트 아이디어가 있습니까? arXivLabs에 대해 더 알아보기.