다상 이동 경계 문제로서의 지속 학습 (Continual Learning)
요약
Stefan-CL은 물리학의 상변화 원리를 활용하여 지속 학습의 안정성-가소성 딜레마를 해결하는 새로운 연구입니다. 지식을 고체와 액체 상태로 정의하고 잠열 조절을 통해 망각을 최소화하며, 데이터 저장 없이도 높은 성능을 유지합니다.
핵심 포인트
- 물리학의 상변화 개념을 적용한 지속 학습 방법론
- 안정성-가소성 딜레마를 해결하여 망각 현상 최소화
- 원본 데이터 없이도 베이스라인 모델 수준의 성능 달성
- 잠열 조절을 통한 지식 경계의 동적 제어
지속 학습 (Continual learning)은 과거의 지식을 유지하는 것과 새로운 태스크를 흡수하는 것 사이의 균형을 맞추는 데 어려움을 겪습니다. Stefan-CL은 용융 (melting)의 물리학을 통해 이 안정성-가소성 딜레마 (stability-plasticity dilemma)를 우아하게 해결합니다. 이 방식은 공고화된 지식을 보호된 "고체 (solid)"로, 사용되지 않는 용량을 적응 가능한 "액체 (liquid)"로 정의합니다. 네트워크가 학습함에 따라 이 경계는 "잠열 (latent heat)" 조절 다이얼에 의해 제어되며 확장됩니다. 학습된 내부를 수학적으로 동결함으로써, Stefan-CL은 망각을 거의 제로에 가깝게 줄이며, 원본 데이터를 저장하지 않고도 메모리 집약적인 베이스라인 (baselines) 모델들과 대등한 성능을 보여줍니다. 이는 AI를 위한 아름답고 물리학에 기반한 경로를 개척합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0