경로 수준의 국지화 및 재작성을 통한 LLM 에이전트용 계층적 그래프 메모리
요약
LLM 에이전트의 장기 추론을 위해 계층적 그래프 메모리 프레임워크인 HiGram을 제안합니다. 경로 수준의 국지화와 재작성 기술을 통해 검색 시 무관한 문맥을 줄이고 메모리 업데이트의 효율성을 높였습니다.
핵심 포인트
- Coarse-to-fine 아키텍처를 통한 계층적 그래프 메모리 구조 제안
- MicroGraph를 활용한 경로 수준의 국지화로 검색 효율성 증대
- 단위 내/간 의존성을 동시에 수정하는 조정된 재작성 방법론
- 기존 방식 대비 답변 품질 및 토큰 효율성 개선 입증
장기적 추론 (long term reasoning)을 위한 에이전트 (Agents)는 새로운 사실과 외부 피드백이 지속적으로 유입됨에 따라 시간이 지남에 따라 효율적이고 효과적으로 업데이트될 수 있는 메모리가 필요합니다. 최근에는 멀티홉 검색 (multi-hop retrieval) 및 추론을 위한 구조적 조직화를 제공하기 위해 그래프 메모리 (graph memory)가 채택되었습니다. 그러나 기존 방식들은 모든 메모리를 평면적인 그래프 (flat graph)에 저장하며, 누적된 과거의 메모리들은 검색 과정에서 무관한 문맥을 도입하고 증거 선택 비용을 증가시킬 수 있습니다. 또한, 이들은 일반적으로 메모리 단위 (memory units)를 독립적으로 업데이트하므로, 관련된 변경 사항을 반영하기 위해 반복적인 단위별 재작성 (unit-wise rewrite)이 필요합니다. 이러한 문제를 해결하기 위해, 우리는 경로 수준의 국지화 (path-level localization) 및 재작성 (rewriting) 기능을 갖춘 진화형 계층적 그래프 메모리 프레임워크인 HiGram을 제안합니다. 구체적으로, 먼저 상위 수준 노드와 메모리 단위 (MemoryUnits)로 구성된 coarse-to-fine 아키텍처로 메모리를 조직하여 검색 중 무관한 정보의 양을 줄이는 계층적 그래프 메모리를 제안합니다. 나아가, 재작성 전에 지원 서브그래프 (support subgraph)와 증거 경로 (evidence path)를 식별하기 위해 쿼리 및 업데이트 조건부 MicroGraph를 활용하는 MicroGraph 기반의 경로 수준 국지화를 제안합니다. 마지막으로, 단위 내부 메모리 (intra-unit memory)와 단위 간 의존성 (inter-unit dependencies)을 공동으로 수정하여 국지화된 증거 경로 내에서 유효한 의존성 구조 업데이트를 가능하게 하는 조정된 재작성 방법을 제안합니다. 장기 대화형 질의응답 및 충돌 인식 메모리 평가 (conflict-aware memory evaluation) 벤치마크에 대한 실험 결과, 우리의 방법이 답변 품질과 토큰 효율성 측면에서 베이스라인 대비 상당한 개선을 보여줌을 입증했습니다. 또한, 우리의 방법은 동적, 정적 및 조건부 충돌 상황에서 답변 정확도와 쿼리 유효 증거 선택 능력을 향상시킵니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기