Masked Diffusion Language Models에서의 지식 편집 (Knowledge Editing)

요약

본 연구는 Masked Diffusion Models(MDMs)에서의 지식 편집 가능성을 탐구합니다. 기존의 '위치 파악 후 편집' 방식이 MDM에서도 유효한지 분석하며, 다중 토큰 편집 시 발생하는 성능 저하 원인을 규명하고 이를 해결하기 위한 교정 방법을 제안합니다.

핵심 포인트

• MDM에서도 특정 레이어의 MLP가 지식 편집의 핵심 위치임을 확인
• 단일 토큰 편집은 성공적이나 다중 토큰 편집 시 MDM의 성능 저하 발생
• 성능 저하 원인은 부분적으로 마스크가 해제된 중간 상태의 특성 때문
• 중간 상태를 최적화하는 교정 방법을 통해 다중 토큰 성능 복구 성공