MuEdit: 도메인 간 지식 충돌을 위한 효율적인 다중 작업 편집 방법

요약

본 논문은 LLM이 이질적인 도메인에서 지식을 업데이트할 때 발생하는 '지식 충돌' 문제를 다룹니다. 연구진은 이러한 기하학적 간섭을 정량화하는 Conflict Index를 제안하고, Mu-Edit이라는 효율적인 다중 작업 편집 방법을 소개했습니다. Mu-Edit은 충돌 인식 순서 지정과 동적 저랭크 근사를 통해 성능 저하 없이 여러 도메인에서 높은 능력을 유지함을 입증했습니다.

핵심 포인트

• 이질적 도메인 업데이트 시 발생하는 지식 충돌 현상을 분석함.
• 기하학적 간섭을 정량화하는 Conflict Index를 제안하여 문제를 측정함.
• 충돌 인식 순서 지정과 동적 저랭크 근사로 다중 작업 편집 성능을 개선함.
• Mu-Edit은 일반 능력을 보존하며 여러 기능 도메인에서 우수한 성능을 보임.