추론 중 언제 검색할 것인가: 대형 추론 모델의 적응형 검색

요약

본 논문은 대형 추론 모델(Large Reasoning Models)의 다단계 추론 과정 중 발생하는 지식 격차를 해결하기 위해 적응형 검색 프레임워크인 ReaLM-Retrieve를 제안합니다. 기존 RAG 시스템이 추론 시작 전 컨텍스트 제공에 최적화된 것과 달리, ReaLM-Retrieve는 추론 단계별 불확실성을 감지하고 외부 증거가 가장 필요한 시점에 개입하는 정책을 학습하여 검색의 효율성과 정확도를 동시에 높입니다. 실험 결과, 이 프레임워크는 표준 RAG 대비 F1 점수에서 평균 10.1%의 개선을 달성했으며, 검색 호출 횟수를 크게 줄이면서도 높은 성능을 유지했습니다.

핵심 포인트

• 기존 RAG 시스템은 추론 시작 전 컨텍스트 제공에 초점을 맞추지만, 대형 모델은 다단계 추론 과정 중 증거 주입(Evidence Injection)이 필요하다는 근본적인 한계가 있었습니다.
• 제안된 ReaLM-Retrieve는 '단계별 불확실성 감지기'를 사용하여 토큰이나 문장 단위가 아닌 추론 단계 수준에서 지식 격차를 식별합니다.
• 외부 증거 주입 시점을 최적화하는 '검색 개입 정책(retrieval intervention policy)'을 학습하여, 검색이 가장 필요한 순간에만 호출되도록 합니다.
• 실험적으로 ReaLM-Retrieve는 표준 RAG 대비 F1 점수에서 평균 10.1%의 개선을 보였으며, 검색 호출 횟수를 47% 줄이는 등 효율성과 정확도 면에서 우수한 성능을 입증했습니다.