멀티모달 거대 언어 모델(MLLM)을 위한 국소화 및 분리된 지식 편집을 향하여

멀티모달 지식 편집 (Multimodal Knowledge Editing, MKE) 분야의 기존 방법들은 멀티모달 거대 언어 모델 (Multimodal Large Language Models, MLLMs) 내의 오래되었거나 부정확한 지식을 수정하는 능력을 발전시켜 왔습니다. 그러나 이들은 결정적인 한계를 보입니다. 즉, 대상이 되는 사실 쌍 (factual pairs)을 효과적으로 수정하는 반면, 논리적으로 관련된 질의 (queries)로 편집 내용을 일반화하는 데 실패하며, 시각적 또는 의미적으로 연결되어 있지만 관련이 없는 정보에 의도치 않은 변경을 일으키는 경우가 빈번합니다. 우리는 이러한 문제를 야기하는 두 가지 근본적인 실패 모드 (failure modes)를 식별하고 공식화했습니다: 편집을 특정 샘플에만 국한시키는 인과적 불일치 (Causal Misalignment), 그리고 결합되어 있지만 무관한 정보에 의도치 않은 변경을 일으키는 특징 얽힘 (Feature Entanglement)입니다. 이러한 문제를 해결하기 위해, 우리는 사실 특화적인 모델 레이어 (layers)를 국소화하고 대상 관련 입력과 무관한 입력을 분리함으로써 정밀하고 일반화된 편집을 달성하는 새로운 프레임워크인 국소화 및 분리된 지식 편집 (Localized and Disentangled Knowledge Editing, LDKE)을 제안합니다. 우리의 접근 방식은 핵심 레이어를 효율적으로 식별하고 업데이트하는 빠른 국소화 (Fast Localization) 모듈과, 무관한 지식을 보존하기 위해 입력을 적절하게 라우팅하는 분리 분류기 (Disentanglement Classifier)를 도입합니다. 다양한 벤치마크와 MLLMs에 걸친 광범위한 실험을 통해, LDKE가 높은 국소성 (locality)을 유지하면서도 관련 문맥으로 편집을 전파하는 데 있어 우수한 성능을 달성함을 입증합니다.