QRAE: DeepSearch 에이전트를 위한 컨텍스트 압축을 위한 쿼리 관련 어텐션 엔트로피

원문 발행 2026. 11. 05. 22:08원문 언어 영어AI 한국어 번역arXiv cs.LG (Machine Learning) 원문 보기

요약

DeepSearch LLM 에이전트의 확장되는 컨텍스트 문제를 해결하기 위해 QRAE(Query-Relevant Attention Entropy)를 제안합니다. 이 방법은 희소 증거 평가 헤드를 사용하여 검색 청크에 점수를 매기고, 중요한 정보만 영구 화이트리스트에 포함시킵니다. 그 결과, 작업 성공률 향상과 지연 시간 및 토큰 사용량 감소 효과가 입증되었습니다.

핵심 포인트

QRAE는 컨텍스트 압축을 위한 새로운 방법론입니다.
희소 증거 평가 헤드를 사용하여 중요 검색 청크를 식별합니다.
작업 성공률이 평균 2.35%p 향상되었습니다.
지연 시간 및 토큰 사용량이 각각 30%, 45% 감소했습니다.

DeepSearch LLM 에이전트는 검색을 반복하고, 검색된 출처(retrieved sources)를 후속 추론 단계로 가져갑니다. 이러한 확장되는 컨텍스트는 토큰 소비와 지연 시간(latency)을 증가시키지만, 많은 결과가 나중의 추론에 기여하지 않습니다. 우리는 온라인 컨텍스트 압축 방법인 Query-Relevant Attention Entropy (QRAE)를 제안합니다. QRAE는 희소 증거 평가 헤드(sparse evidence-assessment heads)를 사용하여 어떤 온전한 검색 청크가 추론 단계를 거쳐 지속되어야 할지 결정합니다. 이는 쌍을 이루는 프리필(paired prefills)을 통해 경계 지어진 후보 배치(bounded candidate batches)에 점수를 매깁니다: 쿼리 없는 제어(query-free control)는 공유 어텐션 응답을 억제하고, 정규화된 엔트로피(normalized entropy)는 각 청크 내에서 긍정적인 응답의 폭(breadth)을 측정합니다. 높은 점수를 받은 청크는 영구 증거 화이트리스트(persistent evidence whitelist)에 들어가 추론 컨텍스트에 포함됩니다. 불확실한 청크는 추론 컨텍스트 밖에 남아 있지만, 후보 캐시(candidate cache)에 보존되어 나중에 재평가될 수 있습니다. QRAE는 추가적인 생성 압축 패스나 어텐션 연산자(attention operator)의 수정이 필요하지 않습니다. 여러 DeepSearch 벤치마크와 추론 모델 전반에 걸쳐, QRAE는 작업 성공률을 평균 2.35 퍼센트 포인트 향상시키고, 종단 간 지연 시간 및 보고된 토큰 사용량을 각각 평균 30%와 45% 감소시킵니다. 이러한 이점은 거의 100B 파라미터 규모의 모델에도 일반화됩니다.

AI 자동 생성 콘텐츠

원문 바로가기

QRAE: DeepSearch 에이전트를 위한 컨텍스트 압축을 위한 쿼리 관련 어텐션 엔트로피

요약

핵심 포인트

댓글