[논문] EngramEdit: 조건부 메모리를 통한 LLM의 분리된 지식 업데이트

DeepSeek Engram과 같은 조건부 메모리 아키텍처는 입력 n-gram을 사용하여 학습된 임베딩을 조회함으로써, 제한적인 추가 연산으로 대규모 언어 모델(LLMs)의 용량을 확장합니다. 모델 스케일링 외에도 이 아키텍처는 사실적 지식 저장과 일반 목적 계산을 분리할 수 있는 잠재력을 입증했으며, 트랜스포머 백본은 고정된 상태로 사실적 지식을 업데이트하는 유망한 경로를 제공합니다. 이러한 잠재력을 실현하는 것은 어렵습니다. 왜냐하면 하나의 사실에 대한 여러 표현이 서로 다른 n-gram 임베딩을 활성화할 수 있으며, 공유되는 임베딩을 업데이트하는 과정에서 의도치 않게 모델의 다른 사실에 대한 예측까지 변경될 수 있기 때문입니다. 우리는 조건부 메모리를 통한 분리된 지식 업데이트를 위해 EngramEdit을 제안합니다. EngramEdit은 먼저 여러 표현에 걸쳐 모델이 업데이트된 사실을 예측하도록 만드는 목표 메모리 표현(target memory representations)을 계산합니다. 그런 다음, 이 목표값에 맞춰 모든 표현과 편집에 걸쳐 공유되는 n-gram 임베딩을 공동으로 업데이트하며, 관련 없는 지식을 보존하기 위해 자주 재사용되는 임베딩의 업데이트에는 더 강한 페널티를 부과합니다. 실험 결과는 EngramEdit이 조건부 메모리를 통해 독립적인 사실적 지식 업데이트를 가능하게 하며, 거의 완벽에 가까운 편집 성공률을 달성함을 보여줍니다. 수정된 지식은 보지 못한 표현과 다단계 추론(multi-hop reasoning) 전반에 걸쳐 사용 가능하며, 체인-오브-쏘트(CoT) 프롬프팅 하에서 가장 강력한 기준선보다 거의 세 배 높은 정확도를 달성합니다. 사실적 업데이트가 누적되어도 관련 없는 지식과 일반적인 능력은 크게 보존됩니다. 이러한 발견들은 EngramEdit이 조건부 메모리를 편집 가능한 지식 인터페이스로 전환하여, 그 역할을 모델 스케일링을 넘어 분리된 지식 업데이트를 지원하는 것으로 확장함을 보여줍니다. 논문: https://arxiv.org/abs/2610.10533 PDF: https://arxiv.org/pdf/2610.10533 GitHub: https://github.com/ModalityDance/EngramEdit HuggingFace: https://huggingface.co/collections/ModalityDance/engramedit 프로젝트: https://modalitydance.github.io/EngramEdit/ /u/pmttyji [link] [comments]