본문으로 건너뛰기

© 2026 Molayo

arXiv논문2026. 06. 15. 12:25

언제 쓰고 언제 억제할 것인가: 메모리 보조 지식 편집을 위한 경로 특화 이중 어댑터 (Route-Specialized Dual

요약

지식 편집 시 무관한 지식의 손실을 방지하기 위해 경로 특화 이중 어댑터(Route-Specialized Dual Adapter)를 제안하는 연구입니다. 관련성 라우터를 통해 편집 메모리 적용 여부를 결정하고, 편집 어댑터와 국소성 어댑터를 분리하여 정확도와 모델의 기존 지식 보존 능력을 동시에 높였습니다.

핵심 포인트

  • 관련성 라우터를 통해 편집 메모리 적용 여부를 선제적으로 결정
  • 편집 어댑터와 국소성 어댑터의 분리로 편집 주입과 경로 외 억제 최적화
  • Llama-3.1 및 Qwen2 모델 기반 벤치마크에서 최고 수준의 정확도 달성
  • 단순 LoRA 용량 증대보다 편집과 억제의 분리가 성능 향상의 핵심

지식 편집 (Knowledge editing) 시스템은 주변의 무관한 동작을 보존하면서 선택된 사실을 업데이트해야 합니다. 본 논문은 추론 시점에 편집 메모리 (edit memory)가 검색되고, 매개변수 효율적 어댑터 (parameter-efficient adapter)가 모델의 객체 선호도를 수정하는 메모리 보조 환경에서 이 문제를 연구합니다. 우리는 핵심적인 설계 질문이 단순히 편집을 어떻게 작성할 것인가뿐만 아니라, 언제 그것을 억제 (suppress)할 것인가에 관한 것이라고 주장합니다. 우리는 경로 특화 이중 어댑터 에디터인 \method{}를 소개합니다. 관련성 라우터 (relevance router)는 프롬프트가 편집 메모리를 받아야 하는지 여부를 먼저 결정합니다. 라우팅된 프롬프트는 기존 객체보다 새로운 객체를 선호하도록 학습된 편집 어댑터 (edit adapter)를 사용하며, 라우팅되지 않은 비직접적 프롬프트는 기존 객체 선호도를 보존하거나 복구하도록 학습된 별도의 국소성 어댑터 (locality adapter)를 사용합니다. 우리는 동일한 메모리 프로토콜과 두 개의 7B/8B 베이스 모델 하에서 세 가지 1,000개 사례 프로토콜인 \cf{}, \zsre{}, \mquake{}를 통해 \method{}를 평가합니다. Llama-3.1-8B-Instruct에서 \method{}는 세 가지 벤치마크 모두에서 최고의 종합 확률-선호도 정확도 (probability-preference accuracy)를 달성했습니다: \cf{}에서 0.8180, \zsre{}에서 0.8946, \mquake{}에서 0.9922를 기록했습니다. 동일한 경향이 Qwen3-8B에서도 나타납니다. 라우터 절제 연구 (Router ablations) 결과, 관련 메모리 경계는 데이터셋마다 다름을 보여줍니다: 어휘적 신경 라우터 (lexical neural router)는 \cf{}에서 가장 안전하며, BGE 임베딩 라우팅 (BGE embedding routing)은 \zsre{}와 \mquake{}에서 더 효과적입니다. 구성 요소 및 모듈 절제 연구 (Component and module ablations)는 성능 향상이 단순히 LoRA 용량을 늘리는 것보다, 편집 주입 (edit injection)과 경로 외 억제 (off-route suppression)를 분리하는 데서 주로 기인함을 보여줍니다.

AI 자동 생성 콘텐츠

본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.

원문 바로가기
0

댓글

0