스펙트럼 도달 범위 (Spectral Reach): 스펙트럼 꼬리(Spectral Tail)로의 진전으로서의 신경 스케일링 이해

신경 스케일링 법칙 (Neural scaling laws)은 모델 크기, 데이터셋 크기, 연산량 (compute), 그리고 성능 사이의 예측 가능한 거듭제곱 법칙 (power-law) 관계를 설명합니다. 이러한 법칙들이 현대의 파운데이션 모델 (foundation models) 개발을 안내하고 있지만, 확장 가능한 분석 도구의 부재 등으로 인해 그 근간이 되는 메커니즘은 여전히 제대로 이해되지 않고 있습니다. 이러한 격차를 해소하기 위해, 우리는 경험적 신경 탄젠트 커널 (empirical neural tangent kernel, eNTK)의 어떤 고유값 (eigenvalues)이 현재 손실 (loss) 감소를 주도하는지를 측정하는 확장 가능한 척도인 "스펙트럼 위치 (spectral position)"를 도입합니다. 스케일링 실험에 이 척도를 적용한 결과, 학습이 진행됨에 따라 스펙트럼 위치가 감소한다는 것을 발견했습니다. 즉, 학습이 지배적인 고유 모드 (dominant eigenmodes)에서 스펙트럼 꼬리 (spectral tail)로 이동합니다. 더 큰 모델은 작은 모델보다 꼬리 부분에 더 깊이 도달하며, 이는 우리가 "스펙트럼 도달 범위 (spectral reach)"라고 부르는 크기 의존적 용량 (size-dependent capacity)을 드러냅니다. 이는 왜 더 큰 모델이 더 낮은 손실을 달성하는지를 시사합니다. 즉, 더 큰 모델은 작은 모델이 접근할 수 없는 약한 스펙트럼 신호 (weak spectral signals)에서도 학습을 지속할 수 있습니다. 나아가 우리는 특징 학습 (feature learning)이 스펙트럼 도달 범위의 핵심 동력임을 확인했습니다. 특징 학습은 학습이 진행됨에 따라 그래디언트 (gradient) 크기를 적응적으로 증폭시켜, 고정된 표현 (frozen representations)이 정체되는 지점에서도 진전을 유지합니다. 이는 아키텍처 (architecture) 및 옵티마이저 (optimizer) 설계를 통한 구체적인 개입 가능성을 시사합니다.