에이전트형 인공지능(AI) 서비스는 대규모 언어 모델(LLM) 생성과 외부 도구 실행을 혼합하며, 공유된 추론 상태 및 계산을 반복적으로 재방문하는 검색 기반 워크플로우에 점점 더 의존하고 있습니다. 이러한 패턴은 도구 출력, LLM 응답, 키-값 (KV) 접두사 전반에 걸쳐 상당한 중복성을 만듭니다. 하지만 기존의 서비스 시스템들은 주로 공유된 프롬프트 접두사를 최적화하는 데 초점을 맞추고 있으며, 단순한 입력 기반 캐싱은 동일한 요청이 다른 출력을 생성할 수 있기 때문에 안전하지 않습니다.
저희는 TwinHash를 제시합니다. 이는 각 객체에 반복되는 요청을 인식하기 위한 입력 측 해시 키(input-side hash key)와 저장된 상태를 검증하고 위치시키기 위한 출력 측 콘텐츠 지문(output-side content fingerprint)을 할당하는 통합 객체 관리 아키텍처입니다. 여기에 유형별 재사용 가드(type-specific reuse guards)가 추가되어 정확성과 응답 다양성을 유지합니다. 소프트웨어 객체 식별 테이블은 요청 및 궤적 전반에 걸쳐 재사용 가능한 객체를 유지하며, 하드웨어 객체 배치 테이블은 계층적 메모리 계층 전반에 걸친 해당 객체의 거주 상태를 추적하여, 제거된(evicted) 상태를 다시 계산하는 대신 검색할 수 있도록 합니다.
일곱 개의 에이전트 프레임워크와 다섯 개의 벤치마크 스위트를 통해 테스트한 결과, 재사용성은 벤치마크의 식별성보다는 워크플로우 구조를 더 많이 따르는 것으로 나타났습니다. TwinHash는 결정론적 도구 읽기(deterministic tool reads)가 발생하는 모든 곳에서 최대 81%의 도구 출력을 제공하며, 검색 기반 프레임워크에서는 최대 92%의 LLM 응답을 제공합니다. DRAM에서 제거된 KV-접두사를 검색하는 것은 Qwen3-32B 모델에서 TTFT(Time to First Token)를 최대 5.6배까지 줄여주며, 더 큰 밀집형 모델(dense models)에서는 더 큰 이득이 예상됩니다. 검색 기반 프레임워크 하에서 TwinHash는 접두사 캐시된 기준선 대비 종단 간(end-to-end) 벽시계 시간(wall-clock time)을 최대 87%까지, 측정된 작업 에너지(task energy)를 최대 81%까지 줄여주며, 키별 서비스 제한(per-key serving cap)은 적응형 검색에서 품질-재사용성 트레이드오프를 제어합니다. 이러한 결과들은 통합 식별성, 안전성 및 배치 관리가 새롭게 등장하는 에이전트 워크플로우의 구조적 중복성을 상당한 서비스 효율성 이득으로 전환할 수 있음을 입증합니다.