Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
긴 문맥 추론 능력을 향상시키기 위해 학습 없이 적용 가능한 'RECONTEXT' 방법론을 제안합니다. 모델 내부의 관련성 신호를 활용해 증거 풀을 구축하고 재귀적으로 재생함으로써, 문맥 활용도를 높이는 메커니즘을 다룹니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기긴 문맥(long contexts)을 이해하고 추론하는 것은 실제 애플리케이션에 대규모 언어 모델(LLMs)을 배포하기 위한 핵심 요구 사항이 되었습니다. 최근의 LLM들이 점점 더 긴 문맥 창(context windows)을 지원하고 있음에도 불구하고, 입력에 이미 존재하는 관련 증거(relevant evidence)를 사용하는 데 종종 실패하며, 이는 문맥 접근(context access)과 효과적인 문맥 활용(context utilization) 사이의 격차를 드러냅니다. 본 연구에서는 긴 문맥 추론을 개선하기 위한 학습이 필요 없는 추론 방법인 '긴 문맥 추론을 위한 LLM 하네스로서의 재귀적 증거 재생(Recursive Evidence Replay as LLM Harness for Long-Context Reasoning, RECONTEXT)'을 제안합니다. RECONTEXT는 모델 내부의 관련성 신호(relevance signals)를 사용하여 쿼리 조건부 증거 풀(query-conditioned evidence pool)을 구축하고, 전체 원본 문맥을 보존하면서 최종 생성 전에 이를 재생(replay)합니다. 이 재귀적 선택 과정은 학습, 외부 메모리, 또는 문맥 가지치기(context pruning) 없이 증거 조직(evidence organization)과 답변 생성(answer generation)을 분리합니다. 또한 우리는 연상 메모리(associative memory)에 기반한 이론적 분석을 제공하며, 이는 문맥을 메모리 저장소(memory store)로, 질문을 검색 단서(retrieval cue)로, 어텐션(attention)을 단서-흔적 연관(cue-trace association)으로, 그리고 재생을 흔적 재활성화(trace reactivation)로 특징짓습니다. 128K 문맥 길이를 가진 8개의 긴 문맥 데이터셋에 대한 실험 결과, RECONTEXT는 Qwen3-4B, Qwen3-8B, Llama3-8B 전반에서 증거 활용도를 일관되게 향상시켰으며, 세 가지 백본(backbones) 모두에서 가장 높은 평균 순위를 달성했습니다. 코드는 https://github.com/Yanjun-Zhao/ReContext 에서 확인할 수 있습니다.