Grokking에서의 부분 공간 결정화: 랭크 압축이 상전이를 추적한다

원문 발행 2026. 10. 26. 18:52원문 언어 영어AI 한국어 번역arXiv cs.LG (Machine Learning) 원문 보기

요약

본 연구는 신경망의 'Grokking' 현상과 가중치 행렬의 유효 랭크 감소 간의 관계를 탐구했습니다. 모듈러 산술로 학습된 트랜스포머 모델을 분석한 결과, 가장 급격한 랭크 감소는 Grokking 시작점과 무관하게 발생하며, 이는 원인이라기보다는 특징(signature)으로 보입니다. 또한 테스트 정확도 유지에 필요한 방향의 개수가 줄어드는 '부분 공간 결정화' 현상을 관찰했습니다.

핵심 포인트

Grokking은 네트워크가 암기 후 일반화되는 지연 현상입니다.
유효 랭크 감소는 Grokking 시작점과 무관하게 약 900 스텝 후에 가장 가파르게 나타납니다.
부분 공간 결정화(Subspace crystallization)는 필요한 방향의 개수가 크게 줄어드는 현상입니다.
낮은 랭크를 강제하는 것은 Grokking을 가속시키지 않으며, 원인이라기보다 특징으로 간주됩니다.

Grokking은 무언가를 깊고 직관적으로 이해하는 것을 의미합니다. 신경망에서 Grokking이란 네트워크가 학습 데이터를 암기한 지 오래 후에 일반화되는 현상을 말합니다. 이 지연 현상은 네트워크 가중치 행렬의 유효 랭크(effective rank) 감소와 관련이 있지만, 이러한 랭크 압축이 Grokking을 유발하는지 아니면 그 결과로 발생하는지는 아직 해결되지 않은 문제입니다. 우리는 모듈러 산술(modular arithmetic)로 학습된 mean-field MLP와 one-layer transformer를 연구했으며 다음과 같은 점들을 관찰했습니다: (i) 압축은 암기 시점이 아닌 발생 초기에 따라옵니다. 모든 transformer는 250 스텝 이내에 학습 데이터를 암기하지만, Grokking 시작점(테스트 정확도가 95%에 도달하는 첫 번째 스텝)은 6,500에서 21,000 스텝까지 다양합니다. 하지만 가장 가파른 유효 랭크 감소는 발생 초기가 아무리 늦더라도 약 900 스텝 후에 나타나며, Grokking 없이 암기만 하는 네트워크는 훨씬 적게 압축됩니다. (ii) 부분 공간 결정화(Subspace crystallization). 우리는 테스트 정확도의 99%를 유지하는 가중치 행렬의 가장 적은 상위 특이 방향들의 범위를 충분한 부분 공간(sufficient subspace)이라고 부릅니다. 이 크기는 정답과 최악의 오답 사이의 마진이 커짐에 따라 줄어들 수 있으므로, 우리는 또한 출력을 10% 범위 내로 유지하는 데 필요한 방향의 개수도 계산했습니다. transformer에서 이 개수는 사용 가능한 방향 중 4분의 1 이상에서 약 10분의 1 수준으로 떨어지는데, 이를 부분 공간 결정화라고 부릅니다. (iii) 낮은 랭크를 강제한다고 해서 Grokking이 빨라지는 것은 아닙니다. 완전 랭크의 제어 요인(factorized full-rank control)과 비교했을 때, transformer의 MLP 입력 가중치 랭크를 제한하는 것은 시작점을 지연시키고, 임베딩 랭크를 제한하는 것은 20회 중 15회에서 Grokking을 막았습니다. 따라서 압축은 Grokking의 원인이라기보다는 그 특징(signature)입니다.

AI 자동 생성 콘텐츠

원문 바로가기

Grokking에서의 부분 공간 결정화: 랭크 압축이 상전이를 추적한다

요약

핵심 포인트

댓글