ORBIT: Origin-Regulated Merging을 통한 생성 검색(GenRetrieval)에서 기초 언어 능력 보존

요약

본 연구는 대규모 언어 모델(LLM)을 특정 작업에 맞게 미세 조정할 때 발생하는 일반적인 언어 추론 능력의 망각 현상(Catastrophic Forgetting) 문제를 다룹니다. 특히 생성 검색(Generative Retrieval, GenRetrieval) 작업을 예시로 들어, 이러한 망각이 빠르게 발생하며 모델 파라미터 변화와 관련 있음을 분석했습니다. 이를 해결하기 위해 'ORBIT: Origin-Regulated Merging'이라는 새로운 방법을 제안하여, 특정 작업 성능을 유지하면서도 기초 언어 능력을 효과적으로 보존하는 방식을 제시합니다.

핵심 포인트

• LLM 미세 조정 시 발생하는 일반적인 언어 추론 능력의 망각(Catastrophic Forgetting) 문제가 심각함.
• 생성 검색(GenRetrieval) 작업에서 이러한 망각 현상이 빠르게 발생하며, 모델 파라미터 변화와 관련이 있음.
• 'ORBIT: Origin-Regulated Merging'은 특정 작업 성능을 유지하면서도 기초 언어 능력을 보존하는 새로운 방법론임.
• 제안된 방법은 미세 조정 과정에서 원본 모델의 지식을 효과적으로 통합하고 규제하여 망각을 방지함.