FisherEdit: 대규모 언어 모델(LLM)을 위한 피셔 정보 기반 지식 편집

요약

본 논문은 LLM의 순차적 지식 편집 시 발생하는 성능 저하 문제를 다루며, 기존 방법들의 견고성이 업데이트 정규화에 기인함을 분석했습니다. 이를 바탕으로 피셔 기하학 기반의 FisherEdit을 제안합니다. 이 방법은 파라미터 공간에서의 중요도 인식 정규화를 통해 모델 안정성과 최신 성능을 동시에 확보했습니다.

핵심 포인트

• LLM 지식 편집 시 누적된 파라미터 간섭으로 성능 저하 발생.
• 기존 방법의 견고성은 업데이트 정규화에 의해 주로 주도됨을 발견.
• FisherEdit은 피셔 기하학 기반으로 중요도 인식 정규화를 사용.
• Llama-3, Qwen2.5 등 여러 모델에서 SOTA 성능 및 안정성 입증.