텐서 프로그램의 정량적 가우시안 프로세스 극한
요약
본 논문은 텐서 프로그램을 활용하여 무한 너비의 가우시안 프로세스 극한을 가진 랜덤 신경망을 연구하고, Wasserstein 거리에서의 정량적 수렴 이론을 제시합니다. 특히 유한 네트워크 실행과 그들의 가우시안 프로세스 극한 사이의 오차 경계를 명확히 합니다.
핵심 포인트
- 텐서 프로그램을 이용해 무한 너비 랜덤 신경망 연구
- Wasserstein 거리 기반 정량적 수렴 이론 제시
- 유한 네트워크와 가우시안 프로세스 극한 간의 오차 경계 제공
- 피드포워드, 순환형, 트랜스포머 등 다양한 아키텍처 적용 가능
우리는 텐서 프로그램을 통해 무한 너비(infinite-width) 가우시안 프로세스 극한을 가진 랜덤 신경망을 연구하고, Wasserstein 거리에서 정량적인 수렴 이론을 제시합니다. 우리의 주요 결과는 유한 네트워크 실행과 그들의 가우시안 프로세스 극한 사이의 너비에 대한 역 제곱근 순서의 명시적인 유한 너비 오차 경계를 제공합니다. 이 프레임워크는 아키텍처에 구애받지 않으며, 피드포워드 모델뿐만 아니라 순환형 및 트랜스포머형 아키텍처와 관련된 가중치 공유 방식까지 다룹니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기