MeMo: 모델로서의 메모리
요약
MeMo (Memory as a Model)는 대규모 언어 모델(LLMs)의 파라미터를 변경하지 않으면서 새로운 도메인 지식을 전용 메모리 모델에 인코딩하는 모듈형 프레임워크입니다. 이 시스템은 복잡한 문서 간 관계 포착, 검색 노이즈에 대한 강건성, 그리고 LLM의 치명적 망각 방지 등의 장점을 제공합니다. MeMo는 가중치나 출력 로짓 접근 없이 플러그 앤 플레이 통합이 가능하여 오픈 소스 및 폐쇄형 모델 모두에 적용할 수 있으며, 다양한 벤치마크에서 강력한 성능을 입증했습니다.
핵심 포인트
- MeMo는 LLM의 파라미터 수정 없이 새로운 지식을 메모리 모델에 효율적으로 인코딩합니다.
- 이 프레임워크는 복잡한 문서 관계 포착 및 검색 노이즈에 대한 강건성을 제공합니다.
- LLM의 치명적 망각(catastrophic forgetting)을 방지하는 것이 주요 목표 중 하나입니다.
- 가중치나 출력 로짓 접근 없이 플러그 앤 플레이 통합이 가능하여 범용성이 높습니다.
- 추론 시 검색 비용이 코퍼스 크기에 독립적이어서 효율적입니다.
대규모 언어 모델 (LLMs)은 광범위한 작업에서 강력한 성능을 달성하지만, 사전 학습 (pretraining) 이후 후속 업데이트가 있을 때까지 동결된 상태로 유지됩니다. 많은 실제 애플리케이션은 적시에 제공되는 도메인 특화 정보를 필요로 하며, 이는 새로운 지식을 통합하기 위한 효율적인 메커니즘의 필요성을 불러일으킵니다. 본 논문에서는 LLM 파라미터를 변경하지 않으면서 새로운 지식을 전용 메모리 모델 (memory model)에 인코딩하는 모듈형 프레임워크인 MeMo (Memory as a Model)를 소개합니다. 기존 방법들과 비교하여 MeMo는 다음과 같은 몇 가지 장점을 제공합니다: (a) 복잡한 문서 간 관계를 포착하며, (b) 검색 노이즈 (retrieval noise)에 강건하고, (c) LLM의 치명적 망각 (catastrophic forgetting)을 방지하며, (d) LLM의 가중치 (weights)나 출력 로짓 (output logits)에 대한 접근이 필요하지 않아 오픈 소스 및 폐쇄형 proprietary closed-source LLM 모두와 플러그 앤 플레이 (plug-and-play) 통합이 가능하며, (e) 추론 시 검색 비용이 코퍼스 (corpus) 크기에 독립적입니다. BrowseComp-Plus, NarrativeQA, MuSiQue의 세 가지 벤치마크에 대한 실험 결과는 MeMo가 다양한 설정에서 기존 방법들과 비교하여 강력한 성능을 달성함을 보여줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기