빠르고 느린 학습: 지속적으로 적응하는 LLM을 향하여

요약

본 글은 LLM의 적응성 문제를 다루며, 기존의 파라미터 업데이트 방식(치명적 망각 위험)과 인컨텍스트 학습(성능 한계)의 단점을 극복하는 새로운 'fast-slow 학습 프레임워크'를 제안합니다. 이 프레임워크는 모델 매개변수를 '느린 가중치'(Slow Weights, 일반 추론 담당)와 최적화된 컨텍스트로부터 학습되는 '빠른 가중치'(Fast Weights, 태스크 특화 정보 흡수 담당)로 분리하여 관리합니다. Fast-Slow Training (FST)은 높은 샘플 효율성과 성능 점근선을 유지하면서도 치명적 망각을 최소화하고 지속적인 학습 능력을 보존하는 것이 핵심입니다.

핵심 포인트

• Fast-Slow Training (FST) 프레임워크를 통해 LLM의 적응성 문제를 해결합니다.
• 모델 매개변수를 일반 추론에 사용되는 '느린 가중치'와 태스크 특화 정보 학습에 사용되는 '빠른 가중지'로 분리하여 관리합니다.
• FST는 기존 RL 방식보다 최대 3배 높은 샘플 효율성을 보이며, 더 높은 성능 점근선에 도달합니다.
• FST를 통해 치명적 망각(catastrophic forgetting)을 줄이고 가소성(plasticity)을 효과적으로 보존하여 지속적인 학습(continual learning) 시나리오에서 우수합니다.