선택적 지식 억제를 통한 확장 가능한 평생 지식 편집(Lifelong Knowledge Editing)을 향하여

요약

파괴적 망각 없이 지속적인 사전 학습을 가능하게 하는 새로운 지식 편집 방법을 제안합니다. 특정 파라미터만 식별하여 수정하고 나머지는 동결함으로써, 기존 지식을 유지하면서도 학습 비용을 획기적으로 줄일 수 있습니다.

핵심 포인트

• 파괴적 망각 없이 안전한 지식 변경을 위한 파라미터 식별 기술
• 기존 데이터셋과의 혼합 없이 새로운 데이터만으로 학습 가능
• 기존 방식 대비 10배 이상의 학습 비용 절감 효과 기대
• 지속적인 사전 학습(Continued Pretraining)의 효율성 극대화