TokenMizer: 장기적 LLM 컨텍스트 관리를 위한 그래프 구조 세션 메모리

요약

TokenMizer는 LLM의 유한한 컨텍스트 창 문제를 해결하기 위해 세션 히스토리를 지식 그래프로 모델링하는 오픈 소스 프록시 시스템입니다. 기존의 평면적 텍스트 방식과 달리 관계적 구조를 보존하며, 압축된 재개 블록을 통해 토큰 효율성과 결정 재현율을 동시에 높입니다.

핵심 포인트

• LLM 세션 히스토리를 14개 노드와 7개 엣지 타입의 지식 그래프로 구조화
• 8계층 압축 파이프라인을 통해 베이스라인 대비 2배 작은 재개 블록 생성
• 단순 사실 보존을 넘어 결정의 근거(rationale)까지 보존 가능
• 벤치마크 결과 결정 재현율(decision recall) 9-17%p 향상 및 토큰 비용 절감