가중치에서 특징으로: LLM 지속 학습을 위한 SAE 유도 활성화 정규화

요약

LLM의 지속 학습 시 발생하는 치명적 망각 문제를 해결하기 위해 가중치 공간이 아닌 SAE(Sparse Autoencoders)를 활용한 특징 공간 정규화 방식을 제안합니다. 이 방법은 모델의 다의적 특성을 극복하여 안정성과 가소성 사이의 균형을 맞추며 기존 EWC 방식보다 뛰어난 성능과 메모리 효율을 보여줍니다.

핵심 포인트

• 가중치 공간 정규화의 한계를 SAE 기반 특징 공간 정규화로 해결
• SAE를 통해 단의적(monosemantic) 특징을 추출하여 지식 보호
• 이전 태스크 데이터 없이 마스크만으로 지속 학습 가능
• TRACE 및 MedCL 벤치마크에서 기존 방식 대비 우수한 성능 입증
• 가중치 공간보다 낮은 차원의 특징 공간을 사용하여 메모리 효율성 증대