Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 고차원에서 잘못 사양화된 단일 지수 모델을 학습하는 두 개의 층 신경망의 개체군 기울기 흐름을 연구합니다. 특히, 명시적 시간 스케일을 가진 계층적 학습 시나리오에서 숨겨진 연결 함수의 상수 및 선형 성분이 임계값에서 복구됨을 증명했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기우리는 고차원에서 잘못 사양화된 단일 지수 모델을 학습하는 무한히 넓은 두 개의 층(two-layer) 신경망의 개체군 기울기 흐름(population gradient flow)을 연구한다. 두 층은 공동으로 최적화되며, 하나의 섭동 매개변수가 첫 번째 층과 두 번째 층 사이의 상대적인 학습 속도를 조절한다. 이 설정은 Berthier, Montanari 및 Zhou가 extcite{berthier2024learning}에서 고려했으며, 두 번째 층이 첫 번째 층보다 더 빠르게 학습되는 명시적 시간 스케일을 가진 계층적 학습 시나리오를 추측했다. 본 논문에서는 숨겨진 연결 함수(hidden link function)의 상수 및 선형 성분이 예측된 시간 스케일 내에서 날카롭고 명시적인 임계값(threshold)에서 실제로 복구됨을 증명한다. 그런 다음 우리는 이차 성분 학습의 시작점을 분석하고, 초기 단계에서 학습된 성분들이 역학에 필수적인 방식으로 계속 영향을 미친다는 것을 보여준다. 우리의 증명은 적분 제약 조건으로 정의된 다양체 근처에서 진화하는 특이 섭동 흐름(singularly perturbed flows)에 대한 정량적 근사 결과에 기반한다. 현상론적 수준에서도, 우리는 가중치의 경험적 측도(empirical measure)가 숨겨진 연결 함수의 이차 성분에 도달할 때 특이한 거동을 보이며, 소수의 뉴런들이 크게 성장하는 동안 나머지 뉴런들은 이미 학습된 성분들을 보존하기 위해 재배열된다는 것을 보여준다.