범용적인 접근 방식에서 전용적인 접근 방식으로: 온라인 지속적 학습을 위한 새로운 최적화기

요약

본 연구는 온라인 지속적 학습(OCL)의 핵심 문제인 치명적인 망각에 대응하기 위해 새로운 최적화기 SPIN을 제안합니다. SPIN은 '가소성'과 '안정성'이라는 두 가지 개념을 분리하여, 이 둘 사이를 보간하는 방식으로 작동합니다. 이를 통해 기존 OCL 방법론 전반에서 성능 향상을 입증했습니다.

핵심 포인트

• SPIN은 가소성과 안정성을 명시적으로 분리한 최적화기입니다.
• 이론적으로 역헤세 행렬 근사 및 Tikhonov 정규화를 사용합니다.
• 표준 최적화기를 대체하여 기존 OCL 방법론에 통합 가능합니다.
• 리허설-프리 환경 등 다양한 OCL 설정에서 성능 향상을 보였습니다.