MemRouter: 장기 대화 에이전트의 외부 메모리 저장 결정에 대한 임베딩 기반 라우팅
요약
MemRouter는 장기 대화 에이전트가 외부 메모리에 어떤 대화 턴을 저장할지 결정하는 과정을 개선한 쓰기측면(write-side) 메모리 라우터입니다. 기존 시스템들이 매 턴마다 LLM 생성을 통해 이 결정을 내리는 것과 달리, MemRouter는 임베딩 기반의 경량 분류 헤드를 사용하여 효율적으로 메모리 수용 여부를 예측합니다. 실험 결과, MemRouter는 기존 LLM 기반 메모리 관리자보다 모든 질문 카테고리에서 높은 성능을 보였으며, 특히 메모리 관리 지연시간을 크게 줄여 실시간 응답성을 향상시켰습니다.
핵심 포인트
- MemRouter는 장기 대화 에이전트의 메모리 수용 결정을 위한 임베딩 기반 라우팅 정책입니다.
- LLM 생성 의존도를 낮추고, 경량 분류 헤드를 사용하여 턴별 메모리 관리 기능을 구현했습니다.
- 기존 LLM 기반 메모리 관리자 대비 모든 질문 카테고리에서 높은 성능(F1 점수)을 달성했습니다.
- 메모리 관리 지연시간을 기존의 수백 ms 수준에서 58ms로 대폭 감소시켜 효율성을 높였습니다.
장기 대화 에이전트 (Long-term Conversational Agents) 는 외부 메모리에 어떤 턴(turn) 을 저장할지 결정해야 하지만, 최근 시스템은 이 결정을 위해 각 턴마다 자기회귀 LLM 생성을 의존하고 있습니다. 우리는 MemRouter 를 제시합니다: 이는 메모리 수용 (admission) 을 다운스트림 답변 백본과 분리하며, 턴별 메모리 관리 디코딩을 임베딩 기반 라우팅 정책으로 대체하는 쓰기측면 메모리 라우터입니다.
MemRouter 는 각 턴과 최근 컨텍스트를 함께 인코딩하고, 이를 통해 생성된 임베딩을 고정된 LLM 백본을 통과시키며, 경량 분류 헤드를 사용하여 턴이 저장될지 여부를 예측합니다. 12M 파라미터만 학습하는 경우에도 이 방법을 사용합니다.
LoCoMo 의 통제된 매칭 해스 (matched-harness) 비교에서, 검색 파이프라인, 답변 프롬프트, QA 백본 (Qwen2.5-7B) 은 동일하게 유지되며 MemRouter 는 LLM 기반 메모리 관리자에 비해 모든 질문 카테고리에서 성능을 뛰어납니다 (전체 F1 52.0 vs 45.6, 겹치지 않는 95% 신뢰구간). 또한 메모리 관리 p50 지연시간을 970ms 에서 58ms 로 줄였습니다.
설명적 요인 평균 (factorial averaging) 은 학습된 수용이 무작위 저장에 비해 평균 F1 을 +10.3 개선하고, 카테고리 특화 프롬프트가 일반 프롬프트에 비해 +5.2 개선하며, 검색이 +0.7 기여함을 보여줍니다.
이 결과는 쓰기측면 메모리 수용이 작은 감독 라우터로 학습될 수 있으며, 답변 생성은 장기 지평 대화형 QA 에서 별도의 다운스트림 구성 요소로 남아있음을 시사합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기