Computer Science > Machine Learning
제목: Memorilla: Latent Semantic Memory for LLMs
Abstract:
기억(Memory) 기능은 대규모 언어 모델(LLMs)이 파라미터 외의 정보, 예를 들어 과거 사용자 대화, 긴 문서 또는 에이전트의 이전 행동과 같은 정보를 사용할 수 있게 합니다. 고정된(frozen) LLM의 경우, 이러한 축적된 지식에 대한 접근은 메모리 시스템이 컨텍스트 창(context window)에 배치하는 내용으로 제한됩니다. 그러나 각 쿼리에 필요한 관련 정보를 모으고 결합하면서 모델의 컨텍스트를 짧게 유지하는 것은 기존 시스템에게 여전히 어려운 과제입니다.
여기서 우리는 Memorilla라는 메모리 시스템을 소개합니다. 이 시스템은 전체 문서 컬렉션에서 정보를 가져와 고정된 수의 쿼리 의존적 '메모리 토큰(memory tokens)'으로 만듭니다. Memorilla는 문서를 (예: 사용자 채팅, 책 장) 한 번에 재사용 가능한 임베딩(embeddings)으로 인코딩한 다음, LLM의 입력 임베딩 공간에 쿼리별 정보를 검색하고 배치하는 방법을 학습합니다.
단지 16개의 메모리 토큰만을 사용하여, Memorilla는 개인화, 장문 문서 및 지식 집약적 질의응답을 아우르는 8개 벤치마크 중 5개에서 Mem0 및 MemoRAG를 포함한 베이스라인 대비 최고의 성능을 달성합니다. 특히 FactKG에서는 전체 컨텍스트 추론(full-context inference) 시 80.43%였던 수치를 능가하는 84.33%의 정확도를 기록했으며, 이는 소스 문서를 표현하는 데 108배 적은 토큰을 사용했기 때문입니다.
더 나아가, Memorilla는 문서 개수(에이전트의 과거 턴)가 궤적 전체에 걸쳐 증가하는 에이전트 시스템에서 지속적인 학습(continual learning)을 촉진할 수 있습니다. TextWorld 환경에서 우리는 Memorilla가 에이전트가 이미 탐색한 방 사이를 배회하려는 경향을 줄이고, 평균 성공률을 전체 기록 인-컨텍스트 학습 시 18.6%에서 24.2%로 향상시키는 것을 보여줍니다.
종합적으로, Memorilla는 고정된 LLM이 장기 컨텍스트 상호작용 전반에 걸쳐 지식을 효과적으로 축적하고 사용하는 데 도움을 주며, 지속적으로 학습하는 AI 시스템 구축을 위한 한 단계 발전을 제시합니다.
추천 시스템 및 검색 도구
arXivLabs: 커뮤니티 협력자와 함께하는 실험적 프로젝트
arXivLabs는 협력자들이 자체 웹사이트에서 새로운 arXiv 기능을 개발하고 공유할 수 있도록 하는 프레임워크입니다.
arXivLabs와 함께 작업하는 개인과 조직 모두 개방성(openness), 커뮤니티, 탁월함(excellence), 사용자 데이터 프라이버시라는 우리의 가치를 수용하고 받아들였습니다. arXiv는 이러한 가치에 전념하며, 이를 준수하는 파트너와만 협력합니다.
arXiv 커뮤니티에 가치를 더할 프로젝트 아이디어가 있습니까? arXivLabs에 대해 더 알아보기.
