TokenMizer: 장기적 LLM 컨텍스트 관리를 위한 그래프 구조 세션 메모리

장기적 작업 (long-horizon tasks)을 위한 대규모 언어 모델 (LLM) 배포는 근본적인 제약에 직면해 있습니다. 즉, 생산적인 작업 세션은 무한한 반면 컨텍스트 창 (context windows)은 유한하다는 점입니다. 히스토리가 최대 유효 컨텍스트 창 (Maximum Effective Context Window, MECW)을 초과하면, 아키텍처 결정, 작업 전환, 파일 히스토리와 같은 중요한 구조적 정보가 소리 없이 폐기됩니다. 기존의 완화 방법들은 히스토리를 평면적인 텍스트 (flat text)로 취급하여, 세션을 재개 가능하게 만드는 관계적 구조를 파괴합니다. 우리는 LLM 세션 히스토리를 타입화된 지식 그래프 (typed knowledge graph)로 모델링하는 오픈 소스 프록시 시스템인 TokenMizer를 제시합니다. 스키마는 14개의 노드 타입과 7개의 엣지 (edge) 타입을 정의합니다. 하이브리드 추출 파이프라인이 그래프를 점진적으로 채우며, 3단계 체크포인트 시스템이 이를 압축된 재개 블록 (resume blocks)으로 직렬화합니다. 8계층 압축 파이프라인은 컨텍스트 오버헤드를 줄이고, 시맨틱 캐시 (semantic cache)는 반복되는 쿼리 지연 시간을 줄입니다. 5개 도메인에 걸친 21개 세션의 통제된 벤치마크에서 평가한 결과, TokenMizer는 상당한 토큰 경제성 (token economy)을 입증했습니다. TokenMizer는 평균 78개 토큰(범위: 42-124)의 재개 블록을 생성하여, 평가된 베이스라인(159-170개 토큰)보다 2배 더 작으면서도 더 높은 결정 재현율 (decision recall, +9-17 퍼센트 포인트)을 달성했습니다. 결정적으로, 베이스라인은 특정 기술이 언급되었다는 사실만을 보존하지만, TokenMizer는 그 근거 (rationale)를 보존합니다. 모든 세션에 걸쳐 TokenMizer는 평균 작업 재현율 (task recall) 51.0%, 결정 재현율 (decision recall) 46.6%, 파일 재현율 (file recall) 58.7%를 달성했습니다. 분산은 도메인 이질성 (domain heterogeneity)을 반영합니다: 명시적인 명령형 문구 (소프트웨어 엔지니어링)가 암시적인 추론 (연구)보다 더 높은 점수를 기록했습니다. 어블레이션 연구 (Ablation studies)에 따르면 퍼지 레이블 매칭 (fuzzy label matching)이 지배적인 개선 요인입니다 (+33 pp 작업 재현율). 휴리스틱 압축은 외부 의존성 없이 47.3%의 토큰 감소를 달성합니다. TokenMizer는 텍스트 유지 베이스라인 대비 절반의 토큰 비용으로 쿼리 가능한 대안을 제공합니다.