Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 잡음이 포함된 순환 신경망(RNN)의 학습 동역학을 이론적으로 분석합니다. 고유 잡음은 단순한 방해 요소가 아니라, 표현 학습에 결정적인 역할을 하며 해 공간 퇴화성을 깨뜨려 모델의 표현을 강력하게 조절할 수 있음을 주장합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기생물학적 신경망은 잡음을 포함합니다: 그 역학은 예측하기 어려운 변동성을 수반하며, 이는 혼돈뿐만 아니라 다양한 저수준 생물물리학적 과정에 기인할 가능성이 높습니다. 고유 잡음(Intrinsic noise)이 어디에나 존재함에도 불구하고, 특히 학습의 맥락에서 그 이론적 결과는 불완전하게 이해되고 있습니다. 예를 들어, 잡음은 표현 학습(representation learning)을 의미 있게 형성하는 것일까요, 아니면 발견되는 해가 무엇인지, 그리고 언제인지를 크게 바꾸지 않는 방해 요소로 보는 것이 더 나을까요? 여기서는 고유 잡음이 순환 신경망(RNNs)의 표현 학습을 상당히 조절할 수 있다고 주장합니다. 왜냐하면 이는 해 공간 퇴화성(solution-space degeneracies)을 강력하게 깨뜨릴 수 있으며, 경우에 따라 비퇴화적 해(non-degenerate solution) 자체가 존재하는지 여부를 제어할 수 있기 때문입니다. 우리는 선형 활성화 함수와 백색 잡음 입력(white noise inputs)을 가진 잡음이 포함된 RNN 학습의 분석적으로 다룰 수 있는 모델에서 이것이 사실임을 보여줍니다. 우리는 소위 풍부한 영역(rich regime, 가중치가 작은 값으로 초기화되는 경우)에서 잡음이 읽기(read-in), 출력(readout), 순환 가중치(recurrent weights)가 정렬되는 방향을 강력하게 조절한다는 것을 발견합니다. 더욱이, 우리는 잡음이 일종의 상전이(phase transition)를 일으킨다는 것을 발견했습니다: 충분히 높은 잡음 수준에서는 매개변수 스케일이 제한될 경우(예: 규제(regularization)를 통해), 비퇴화적 해가 최적이 아닐 수도 있습니다. 이러한 결과는 RNN 표현 학습에 대한 최근의 분석 작업을 확장하며, 잡음이 표현을 결정하는 근본적인 요소로 작용할 수 있음을 보여줍니다.