MPCS: 신경가소성 지속학습을 위한 다중 구성 요소 가소성과 위상 인식 EWC

요약

본 논문은 새로운 지식 습득(가소성)과 기존 지식 보존(안정성) 사이의 상충 관계를 해결하기 위해 MPCS(다중 가소성 지속 시스템)라는 혁신적인 신경가소성 구조를 제안합니다. MPCS는 작업 기반 신경발생, 푸리에 인코딩 입력, EWC 정규화 등 11가지 보완적 메커니즘을 통합하여 다차원 벤치마크(MEP-BENCH)에서 높은 성능을 입증했습니다. 특히 연구 결과는 푸리에 인코딩의 중요성을 강조하고, 위상 국소 EWC가 전역 EWC보다 우수하며, 특정 구성 요소 조합 제거를 통해 모델 압축 및 효율성 개선이 가능하다는 점을 보여주었습니다.

핵심 포인트

• MPCS(Multi-Plasticity Continual System)는 11가지 메커니즘을 통합하여 지속학습의 성능과 안정성을 극대화한 신경가소성 구조이다.
• 푸리에 인코딩 입력은 MPCS에서 가장 중요한 구성 요소로, 제거 시 성능 저하가 매우 크다.
• 전역 EWC보다 위상 국소 EWC를 사용하는 것이 성능 유지와 효율성 측면에서 더 효과적이며, 완전히 제거하는 것도 특정 조건에서 최적의 결과를 가져올 수 있다.
• 파레토 프론티어 분석을 통해 모델 압축 가이드라인을 제시했으며, 일부 구성 요소를 제거함으로써 성능 개선과 컴퓨팅 비용 대폭 감소를 동시에 달성할 수 있음을 입증했다.