KAN-CL: Kolmogorov-Arnold Networks를 이용한 지속 학습 (Continual Learning)을 위한 매듭별 중요도

요약

KAN-CL은 Kolmogorov-Arnold Networks(KANs)의 스플라인 파라미터화 특성을 활용하여 지속 학습 시 발생하는 치명적 망각 문제를 해결하는 새로운 프레임워크입니다. 매듭(Knot) 단위의 세밀한 중요도 가중 앵커링과 백본 정규화(bbEWC)를 결합하여, 기존 방식 대비 망각을 획기적으로 감소시키고 높은 정확도를 유지합니다.

핵심 포인트

• KAN의 컴팩트 서포트 스플라인 특성을 이용해 매듭(Knot) 단위의 정밀한 중요도 가중 앵커링 수행
• Split-CIFAR 벤치마크에서 기존 베이스라인 대비 최대 93%의 망각 감소 달성
• Neural Tangent Kernel(NTK) 분석을 통해 KAN의 스플라인 국소성이 구조적 랭크 결손을 유도함을 입증
• 아키텍처의 국소성과 백본 정규화기를 결합한 구성적이고 원칙적인 망각 방지 접근법 제시