컴퓨터 과학 (Computer Science) > 계산 및 언어 (Computation and Language)

제목: Zero-Mem: LLM 에이전트를 위한 제로 토큰 메모리 연산 (Zero-Token Memory Operations)

PDF HTML 보기 (실험적) 초록: LLM 에이전트는 긴 상호작용 동안 일관되게 행동하기 위해 메모리 (Memory)가 필요하지만, 많은 시스템이 해당 메모리를 작동시키기 위해 추가적인 LLM 호출을 사용합니다. 중간 기록을 생성하고 그 검색을 중재하는 과정은 반복적인 토큰 및 시간 비용을 발생시키며, 누락되거나 병합된 세부 사항은 원래의 증거를 가릴 수 있습니다. 우리는 구조화된 메모리 접근에 생성 (Generation) 과정이 반드시 필요한지 질문합니다. Zero-Mem은 \emph{제로 토큰 메모리 연산 (zero-token memory operations)}을 도입합니다: 최종 질의응답 (Question Answering) 단계를 제외하고는 LLM을 호출하거나 LLM 입력 또는 출력 토큰을 소비하지 않습니다; 인코더 (Encoder) 계산은 별도로 처리됩니다. Zero-Mem은 원래의 상호작용 흔적 (Interaction traces)을 기록의 원천으로 보존합니다. 이는 두 가지 상호 보완적인 방식으로 흔적을 구성합니다. 엔티티-컨텍스트 그래프 (Entity--context graph)는 상호작용 전반에 걸친 연결성을 드러내며, 시간적 계층 구조 (Temporal hierarchy)는 대화의 국소성 (Locality)과 세션 상태 (Session state)를 보존합니다. 각 쿼리 (Query)에 대해, Zero-Mem은 두 가지 뷰 (View)의 가중치를 조절하고, 양쪽 모두에서 검색하며, 지원 관계나 주변 컨텍스트를 복구하기 위해 그 구조를 따릅니다. 결정론적 보정 (Deterministic calibration)을 통해 먼저 상충하는 증거를 폐기한 다음, 독자의 답변이 검색된 흔적에 근거하도록 유지합니다. 오직 최종 질의응답 (Final-QA) 리더 (Reader)만이 LLM을 호출합니다. 장기 메모리 (Long-memory) 및 장기 컨텍스트 (Long-context) 질의응답 벤치마크 전반에서, Zero-Mem은 메모리 연산에서 LLM 호출과 LLM 토큰 소비를 제거하면서도 경쟁력 있는 성능을 달성합니다. 동일한 최종 질의응답 리더와 컨텍스트 예산 (Context budget)을 사용할 때, 가장 빠른 비교 대상 베이스라인 (Baseline) 대비 메모리 연산 시간 비용을 57.6% 절감합니다. 절제 연구 (Ablations)는 두 가지 뷰와 쿼리 의존적 조정 (Query-dependent coordination)의 기여도를 뒷받침합니다. 전반적으로, 결과는 구조화된 에이전트 메모리가 과거의 중간 표현 (Intermediate representation)을 생성할 필요가 없음을 보여줍니다. 동료 검토 (Peer review) 이후, 코드와 구현 세부 사항은 \textcolor{blue}{이 https URL}에서 확인할 수 있습니다.

서지 및 인용 도구

이 기사와 관련된 코드, 데이터 및 미디어

데모 (Demos)

추천 및 검색 도구 (Recommenders and Search Tools)

arXivLabs: 커뮤니티 협력자와 함께하는 실험적 프로젝트

arXivLabs는 협력자들이 우리의 웹사이트에서 직접 새로운 arXiv 기능을 개발하고 공유할 수 있도록 지원하는 프레임워크입니다.

arXivLabs와 함께 활동하는 개인 및 조직은 개방성, 커뮤니티, 탁월함, 그리고 사용자 데이터 프라이버시라는 우리의 가치를 수용하고 받아들였습니다. arXiv는 이러한 가치에 전념하고 있으며, 이를 준수하는 파트너와만 협력합니다.

arXiv 커뮤니티에 가치를 더할 프로젝트 아이디어가 있나요? arXivLabs에 대해 더 알아보기