ReContext: 재귀적 증거 재생(Recursive Evidence Replay)이 LLM이 실제로 긴 컨텍스트를 활용하도록 돕는 방법

대규모 언어 모델(Large Language Models, LLMs)은 이제 128K, 1M, 또는 심지어 10M 토큰의 컨텍스트 창(context windows)을 수용할 수 있습니다. 하지만 긴 입력을 수용하는 것과 그 위에서 _추론을 잘 수행하는 것_은 별개의 문제입니다. 점점 더 많은 연구 결과는 모델이 긴 컨텍스트 중간에 묻혀 있는 정보를 검색하거나 올바르게 사용하는 데 자주 실패한다는 것을 보여주는데, 이는
"lost in the middle" 효과로 알려진 문제입니다. 2026년 7월에 발표된 새로운 논문인 ReContext: Recursive Evidence Replay as LLM Harness for Long-Context Reasoning은 모델을 수정하거나 외부 메모리를 추가하지 않고도 이러한 격차를 해결하는 훈련이 필요 없는(training-free) 추론 방법을 제안합니다.

문제점: 컨텍스트 접근 ≠ 컨텍스트 활용

128K 토큰 분량의 문서를 LLM에 입력하고 질문을 던지면, 기술적으로 모델은 모든 토큰에 접근할 수 있습니다. 하지만 실제로 어텐션(attention)은 시퀀스의 시작과 끝에 집중되는 경향이 있어, 중간 부분은 대체로 무시됩니다. 이는 Transformer 아키텍처에 뿌리를 둔 구조적 이유로 인해 발생합니다:

• **인과적 어텐션 마스킹 (Causal attention masking)**은 초기 토큰이 시퀀스 전반에 걸쳐 더 많은 노출을 갖게 하여 초두 효과(primacy bias)를 생성합니다.
• **회전 위치 임베딩 (Rotary position embeddings, RoPE)**은 거리 기반 감쇠(distance-based decay)를 도입하여, 양 끝에서 멀리 떨어진 토큰들이 "어텐션 데드 존(attention dead zone)"에 빠지게 합니다.
• **훈련 데이터 패턴 (Training data patterns)**이 이를 강화합니다. 대부분의 문서는 핵심 정보를 경계 부분(제목, 결론)에 배치하므로, 모델은 해당 위치에 더 높은 가중치를 두도록 학습됩니다.

그 결과, 모델이 백만 개의 토큰을 처리할 수 있음에도 불구하고, 유효한 검색 정확도는 200K400K 토큰을 넘어서면 급격히 저하되는 경우가 많습니다. RULER 및 multi-needle NIAH 테스트와 같은 벤치마크는 대부분의 최첨단(frontier) 모델에서 컨텍스트 길이가 길어짐에 따라 정확도가 일관되게 3060포인트 하락함을 보여줍니다.

ReContext가 하는 일

ReContext는 긴 컨텍스트 추론 문제를 연상 메모리(associative memory) 문제로 취급합니다. 저자들은 다음과 같은 명시적인 비유를 듭니다:

저자들은 다음과 같은 명시적인 비유를 듭니다:

• **컨텍스트(context)**는 메모리 저장소입니다.
• **질문(question)**은 검색 단서(retrieval cue)입니다.
• 모델의 **어텐션(attention)**은 단서-흔적 연관 메커니즘입니다.
• **재생(replay)**은 흔적 활성화 — 답변을 생성하기 전에 관련 메모리를 표면화하는 것입니다.

이 방법은 추론 시간(inference time)에 세 단계로 작동합니다:

1. 핵심 토큰 식별 (Identify Heavy-Hitter Tokens)

ReContext는 모델 자체의 내부 어텐션 신호를 사용하여 '핵심 토큰(heavy-hitter)'을 찾습니다. 이는 질의와 관련하여 불균형적으로 높은 어텐션을 받는 구문(spans)을 의미합니다. attention sinks and KV-cache optimization에 대한 연구는 이러한 고어텐션 토큰이 문서 내 질의 관련 정보의 50–80%를 차지하는 경우가 많다는 것을 보여주었습니다.

ReContext는 외부 검색기(retriever)나 별도의 임베딩 모델에 의존하기보다는, 모델의 순전파(forward pass)에서 이러한 신호를 직접 읽어옵니다. 추가적인 구성 요소가 필요하지 않습니다.

2. 질의 조건부 증거 풀 구축 (Build a Query-Conditioned Evidence Pool)

식별된 구문들은 순서화된 증거 풀(evidence pool)로 조립됩니다. 이 풀은 재귀적으로 구성되는데, 각 라운드는 원래 컨텍스트, 질문, 그리고 지금까지 축적된 증거에 조건화됩니다. 일반적으로 이 재귀는 2–4라운드 동안 진행되며, 라운드당 증거 토큰 예산은 8–32 토큰입니다.

이러한 재귀적 선택 과정이야말로 ReContext를 컨텍스트 절단(context truncation)이나 슬라이딩-윈도우 검색(sliding-window retrieval) 같은 단순한 접근 방식과 구별하는 지점입니다. 단순히 컨텍스트를 버리는 대신, 전체 입력 위에 초점을 맞춘 증거 요약(evidence summary)을 추가합니다.

3. 생성 전 증거 재생 (Replay Evidence Before Generation)

최종 증거 풀은 모델이 답변을 생성하기 전에 프롬프트에 앞에 붙여집니다(prepended). 이 재생 단계는 모델의 어텐션을 관련 구문에 다시 결합시켜, 그렇지 않았다면 발생했을 위치 편향(positional bias)으로 인해 중간 컨텍스트 정보를 간과하게 만드는 것을 방지합니다.

결정적으로, 전체 원래 컨텍스트는 여전히 존재합니다. ReContext는 입력을 가지치기하거나 압축하지 않고 — 정제된 증거 흔적(evidence trace)으로 보충할 뿐입니다.

성능 결과

저자들은 Qwen3-4B, Qwen3-8B, Llama3-8B를 베이스 모델 (base models)로 사용하여, 128K 토큰 길이의 8개 긴 컨텍스트 벤치마크 (long-context benchmarks)에서 ReContext를 평가했습니다. 벤치마크에는 Natural Questions, TriviaQA, HotpotQA 및 여러 멀티홉 추론 (multi-hop reasoning) 작업이 포함됩니다.

주요 결과:

• ReContext는 베이스라인 프롬프팅 (baseline prompting) 및 다른 훈련이 필요 없는 (training-free) 긴 컨텍스트 방법들과 비교했을 때, 8개 벤치마크 전체에서 **가장 높은 평균 순위 (best average rank)**를 달성했습니다.
• 테스트된 모델 전반에 걸쳐 평균 정확도가 기본 프롬프팅 (vanilla prompting) 대비 약 24.6% 향상되었습니다.
• 이러한 이점은 모델 크기에 관계없이 일관되게 나타나며, 이는 이 방법이 특정 아키텍처 (architecture)나 규모 (scale)에 의존하지 않음을 시사합니다.

이러한 개선은 모델이 컨텍스트 내의 여러 위치에서 정보를 합성해야 하는 멀티홉 (multi-hop) 작업에서 특히 두드러지는데, 이는 바로 위치 편향 (positional bias)이 가장 큰 피해를 주는 시나리오입니다.

훈련이 필요 없는 방식 (Training-Free)이 중요한 이유

긴 컨텍스트 추론을 개선하기 위한 대부분의 접근 방식은 모델을 미세 조정 (fine-tuning)하거나 (비용이 많이 들고 모델 특정적임), 외부 검색 인프라 (RAG 파이프라인, 벡터 데이터베이스, 리랭커 (re-rankers))를 추가해야 합니다. ReContext는 둘 다 필요하지 않습니다.

이 방식은 모델의 기존 어텐션 메커니즘 (attention mechanism)만을 사용하여 완전히 추론 시간 (inference time)에 실행됩니다. 이는 수정 없이 모든 트랜스포머 기반 (transformer-based) LLM에 적용될 수 있음을 의미하며, 새로운 파라미터 (parameters)나 훈련 데이터 요구 사항을 추가하지 않습니다. 계산 오버헤드 (computational overhead)는 적당한 수준입니다: 재귀적 증거 선택 (recursive evidence selection) 라운드를 위한 몇 번의 추가적인 순전파 (forward passes) 과정이 필요합니다.

이로 인해 전체 RAG 아키텍처나 미세 조정 파이프라인을 구축하지 않고도 더 나은 긴 컨텍스트 성능을 원하는 팀들에게 실용적입니다.

한계 및 미결 과제

ReContext는 긴 컨텍스트 문제에 대한 완전한 해결책은 아닙니다. 유의해야 할 몇 가지 주의 사항은 다음과 같습니다:

• 이 방법은 최대 8B 파라미터 규모의 모델들을 대상으로 테스트되었습니다. 서로 다른 어텐션 패턴 (attention patterns)을 가진 더 큰 모델 (70B+)에서도 동일한 이득이 유지될지는 아직 미결 과제입니다.
• 증거 토큰 예산 (evidence token budget, 라운드당 8~32개 토큰)은 다양한 작업 유형에 따라 튜닝이 필요할 수 있는 하이퍼파라미터 (hyperparameter)입니다. 매우 길거나 복잡한 답변은 더 큰 예산이 필요할 수 있습니다.
• 재귀적 선택 과정 (recursive selection process)은 라운드 수에 비례하여 지연 시간 (latency)을 추가합니다. 지연 시간에 민감한 애플리케이션의 경우, 이러한 트레이드오프 (tradeoff)를 정확도 향상과 비교하여 신중히 고려해야 합니다.
• 본 논문은 영어 기반 벤치마크 (benchmarks)에서 평가를 수행했습니다. 다국어 또는 코드 중심의 컨텍스트에서의 성능은 아직 규명되지 않았습니다.

더 넓은 맥락 (The Broader Context)

ReContext는 재학습 없이 기존 모델로부터 더 많은 가치를 추출하려는 일련의 증가하는 추론 시간 (inference-time) 기술들에 부합합니다. StreamingLLM과 같은 방법들은 어텐션 싱크 (attention sinks)를 관리함으로써 무한 길이의 스트리밍을 처리합니다. H2O 및 SnapKV와 같은 KV-캐시 (KV-cache) 압축 기술은 메모리 오버헤드 (memory overhead)를 줄여줍니다. ReContext는 이들과는 다른 틈새 영역을 차지합니다. 즉, 메모리를 관리하거나 유효한 창 (effective window)을 확장하는 대신, 고정된 긴 입력에 대한 _추론 품질 (reasoning quality)_을 개선합니다.

컨텍스트 창 (context windows)이 계속 커지고 에이전트 워크플로우 (agentic workflows)가 모델로 하여금 점점 더 긴 이력을 처리하도록 압박함에 따라, 명목상의 컨텍스트 길이와 유효한 추론 깊이 사이의 간극은 실질적인 고민거리로 남을 것입니다. ReContext와 같은 훈련이 필요 없는 (training-free) 방법들은 차세대 모델 아키텍처를 기다리지 않고도 그 간극을 점진적으로 메울 수 있는 하나의 경로를 제공합니다.

본 논문은 arXiv:2607.02509에서 확인할 수 있습니다.