본문으로 건너뛰기

© 2026 Molayo

arXiv논문2026. 06. 15. 03:48

안정적 복구 다양체: 지속 학습에서 회복 가능성을 지배하는 기하학적 원리

요약

본 논문은 지속 학습(Continual Learning)에서 발생하는 '파국적 망각'의 원인을 기하학적으로 분석했습니다. 연구진은 회복 가능성을 나타내는 복구 부분 공간 차원성($k_t$)을 도입하고, 이 값이 훈련 전반에 걸쳐 안정적으로 유지됨을 발견했습니다. 이는 망각된 지식이 파괴되는 것이 아니라 접근성 및 다양체 정렬 문제임을 시사합니다.

핵심 포인트

  • 파국적 망각은 정보의 파괴가 아닌, 접근성/다양체 정렬 문제이다.
  • 복구 부분 공간 차원성($k_t$)이 훈련 전반에 걸쳐 안정적으로 유지된다.
  • 주성분 각도 표류(Principal-angle drift)가 회복 가능성을 강력하게 예측한다.

파국적 망각(Catastrophic forgetting)은 순차적 학습 중 이전에 습득한 지식이 파괴되는 것으로 흔히 여겨집니다. 접근성 붕괴 프레임워크(Accessibility Collapse framework)를 기반으로, 우리는 지속 학습에서 회복 가능성의 기하학적 구조를 조사합니다. Split CIFAR-100과 순차적으로 훈련된 ResNet-18을 사용하여, 열 가지 태스크에 걸쳐 회복 가능성, 표현적 표류(representational drift), 그리고 복구 복잡도를 분석했습니다. 우리는 전체 프로브 성능의 90퍼센트를 유지하는 데 필요한 최소 특이 방향 수인 복구 부분 공간 차원성($k_t$)을 도입합니다. 우리의 복구 다양체 확산 가설(Recoverability Diffusion hypothesis)과는 달리, 복구 차원성은 상당한 표현적 표류에도 불구하고 훈련 전반에 걸쳐 안정적으로 유지됩니다(평균 $k_t$ = 8.0). 주성분 각도 표류(Principal-angle drift)는 회복 가능성을 강력하게 예측하며($r$ = -0.862), 간단한 기하학적 모델이 회복 가능성 분산의 82.2퍼센트를 설명합니다. 이러한 발견들은 안정적 복구 다양체 가설(Stable Recovery Manifold hypothesis)을 뒷받침하며, 망각된 지식이 표현적 재조직화에도 불구하고 압축적으로 디코딩 가능하게 남아있음을 시사합니다. 결과는 파국적 망각이 정보의 파괴라기보다는 주로 접근성 및 다양체 정렬 문제임을 나타냅니다.

AI 자동 생성 콘텐츠

본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.

원문 바로가기
0

댓글

0