빠르고 느린 학습: 지속적으로 적응하는 LLM을 향하여 [R]

요약

본 논문은 LLM의 학습 방식에 대한 한계를 극복하기 위해 'fast-slow 학습 프레임워크(FST)'를 제안합니다. 기존의 파라미터 업데이트 기반 학습은 치명적 망각을 유발하고, 인컨텍스트 러닝만으로는 성능 향상에 한계가 있습니다. FST는 모델 파라미터를 일반적인 추론 행동을 유지하는 '느린 가중치(slow weights)'와 태스크 특화 정보를 흡수하는 '빠른 가중치(fast weights)'로 분리하여 학습합니다. FST를 통해 학습된 모델은 기존 RL 방식보다 샘플 효율성이 높고 성능 점근선이 높아지며, 베이스 LLM과의 유사성을 유지하여 치명적 망각을 줄이고 후속 태스크에 대한 가소성(plasticity)까지 보존할 수 있습니다.

핵심 포인트

• FST는 모델 파라미터를 '느린 가중치'와 '빠른 가중치'로 분리하여 학습하는 프레임워크이다.
• 이 방식은 기존 RL 기반 학습의 치명적 망각 문제를 해결하고, 베이스 모델에 가까운 일반 추론 능력을 유지한다.
• FST는 샘플 효율성이 높고(최대 3배), 더 높은 성능 점근선에 도달하며 가소성까지 보존한다.
• 지속적 학습 시나리오에서 FST는 새로운 태스크를 지속적으로 습득하여 파라미터만 사용하는 RL보다 우수하다.