생성 모델의 학습 및 암기 현상에 대한 역학계 관점의 분석

요약

본 논문은 생성 모델에서 발생하는 암기(memorization) 현상을 역학계(dynamical systems) 관점에서 분석하여 시스템 이론적 설명을 제공합니다. SGD(stochastic gradient descent)의 두 가지 시간 척도 역학 및 붕괴(collapse) 현상을 결합하여, 학습 과정 중 모델이 유사한 출력을 반복 생성하는 메커니즘을 수학적으로 규명합니다.

핵심 포인트

• SGD의 일정한 단계 크기(constant step size)가 두 개의 뚜렷한 시간 척도를 유발함을 분석
• 손실 함수가 특정 변수에 강하게 의존하는 정형화된 모델을 통해 암기 현상 설명
• SGD의 붕괴(collapse) 현상과 암기 현상 사이의 수학적 상관관계 제시
• 역학계 관점을 통한 머신러닝 내 주요 현상들의 통합적 시각 제공