MemRouter: 장기 대화 에이전트의 외부 메모리 저장 결정에 대한 임베딩 기반 라우팅

요약

MemRouter는 장기 대화 에이전트가 외부 메모리에 어떤 대화 턴을 저장할지 결정하는 과정을 개선한 쓰기측면(write-side) 메모리 라우터입니다. 기존 시스템들이 매 턴마다 LLM 생성을 통해 이 결정을 내리는 것과 달리, MemRouter는 임베딩 기반의 경량 분류 헤드를 사용하여 효율적으로 메모리 수용 여부를 예측합니다. 실험 결과, MemRouter는 기존 LLM 기반 메모리 관리자보다 모든 질문 카테고리에서 높은 성능을 보였으며, 특히 메모리 관리 지연시간을 크게 줄여 실시간 응답성을 향상시켰습니다.

핵심 포인트

• MemRouter는 장기 대화 에이전트의 메모리 수용 결정을 위한 임베딩 기반 라우팅 정책입니다.
• LLM 생성 의존도를 낮추고, 경량 분류 헤드를 사용하여 턴별 메모리 관리 기능을 구현했습니다.
• 기존 LLM 기반 메모리 관리자 대비 모든 질문 카테고리에서 높은 성능(F1 점수)을 달성했습니다.
• 메모리 관리 지연시간을 기존의 수백 ms 수준에서 58ms로 대폭 감소시켜 효율성을 높였습니다.