긴 CoT에서 모델은 자신의 통찰을 잊는다: InsightReplay로 추론의 상태성(Statefulness)을 회복하기

TL;DR

• Chain-of-Thought (CoT) 추론에서는 사슬이 길어진다고 해서 성능이 무한히 올라가는 것이 아니라, 특정 지점을 지나면 역 U자형으로 정확도가 저하됨 - 원인은 추론 과정에서 얻은 중요한 통찰(insight)에 대한 모델의 어텐션(Attention)이 거리에 따라 단조 감소하며, 생성 프론티어(generation frontier)에서 멀어지면 접근이 불가능해지기 때문 - InsightReplay는 추론 중에 정기적으로 통찰을 추출하여 생성 프론티어 근처에 **리플레이(재주입)**함으로써 통찰의 접근성(accessibility)을 유지하는 기법 - 6개 모델 × 4개 벤치마크의 24개 셀 모두에서 개선 확인. 최대 +9.2포인트 (R1-Distill-32B / LiveCodeBench v5)
• 이론적 분석을 통해 InsightReplay가 최적 CoT 길이를 오른쪽으로 이동시키고, 피크 정확도를 상승시킨다는 것을 수학적으로 증명

문제 배경: 긴 CoT가 반드시 좋은 결과만을 가져오는 것은 아니다

Chain-of-Thought 추론은 LLM의 다단계 추론 능력을 끌어내는 기반 기법으로 널리 사용되고 있다. 추론 시 스케일링 (test-time scaling) 맥락에서는 더 긴 사고 사슬이 더 어려운 문제를 푸는 능력과 결합된다.

하지만, 고정된 난이도의 문제에 대해 CoT를 계속 길게 가져가면, 정확도는 어느 지점에서 정점에 도달한 후 저하된다. 이는 많은 연구에서 관찰되는 현상이지만, 그 근본 원인에 대해서는 명확한 설명이 없었다.

본 논문 「Stateful Reasoning via Insight Replay」(Lei et al., 2026)는 이 현상의 원인을 **「추론 도중의 중요한 통찰에 대한 어텐션의 감쇠」**로 특정하고, 통찰을 정기적으로 재주입하는 「InsightReplay」라는 단순하면서도 강력한 기법을 제안한다.

방법 상세 설명: InsightReplay의 메커니즘

통찰(Insight)의 두 가지 성질

저자들은 먼저 실험을 통해 추론 중의 「통찰」에 관한 두 가지 중요한 성질을 확인했다.

성질 I: 통찰과 추론 궤적은 상보적이다

fig2

Qwen3-8B에 60개의 AIME 문제를 풀게 하고, 추론 궤적에서 추출한 5~7개의 통찰만을 입력했을 경우 (Condition C), 원래 추론 궤적 전체(약 16,731 토큰)의 75.6%의 답변 확률을 단 1.4%의 토큰으로 유지했다. 반대로 추론 궤적을 랜덤 토큰으로 교체하면 정확도는 13%까지 급감한다. 즉, 추론 궤적 가치의 대부분은 소수의 통찰에 집중되어 있다.

성질 II: 통찰은 CoT가 길어짐에 따라 접근 불가능해진다

의미적으로 중립적인 필러 토큰(filler token)을 통찰과 답변 사이에 삽입하고 거리를 변화시킨 실험에서는, Qwen3-8B에서 19.2%, Gemma-4-31B-it에서 **3.3%**의 상대적 어텐션 감쇠가 관측되었다 (둘 다 p < 0.001). 이 감쇠는 아키텍처에 의존하지 않으며 단조적임이 확인되었다.

fig4-left

InsightReplay의 동작 흐름

InsightReplay의 기본 아이디어는 직관적이다. 추론의 「상태성(statefulness)」을 회복하기 위해 추론 중에 통찰을 추출하고, 생성 프론티어 근처에 재배치하는 것이다.

구체적으로는 다음 단계를 반복한다:

• 추론 청크 생성 (Rₜ): 단계별(step-by-step) 사고를 수행
• 통찰 추출 (Iₜ): 지금까지의 추론으로부터 가장 중요한 결론을 요약. 추출 프롬프트는 「당신이 도달한 가장 중요한 결론을 열거하라」는 형태로 모델의 1인칭 시점으로 기술됨
• 이력 업데이트: Rₜ와 Iₜ를 순서대로 이력에 추가. 새로운 통찰은 이전의 것을 덮어쓰거나 정교화할 수 있음

리플레이 블록은 모델의 1인칭 성찰로 설계되어 있으며, 「최종 답변을 확정하기 전에 지금까지의 중요한 결론을 재확인하자」라는 자연스러운 독백으로서 사고 블록 내에 삽입된다. 이를 통해 외부의 개입이 아닌, 모델 자신의 자기 검증 프로세스로 기능한다.

이론적 분석

본 논문은 통찰의 접근성 함수...

정리 1 (최적 길이의 우측 이동): InsightReplay는 통찰을 생성 프론티어(generation frontier)에 가깝게 만듦으로써 $\Phi(d_0) > \Phi(N_{\Phi}^) - d_0$를 달성하고, $d_0 \ll N_{\Phi}^$를 만족하며 최적 CoT 길이를 오른쪽으로 이동시킨다.
정리 2 (피크 정확도의 상승): 모든 위치 $i$에서 $\Phi(d_0) > \Phi(i)$가 성립하므로, InsightReplay의 정확도는 표준 CoT를 점별(point-wise)로 상회하며, 그 최대화 또한 높은 피크를 달성한다.

즉, InsightReplay의 효과는 단순한 휴리스틱(heuristic)이 아니라, 어텐션 감쇠(attention decay)의 수학적 구조에 뿌리를 두고 있다.

실험 결과: 24개 셀 모두에서 개선

Pure Inference 실험

6개 모델(Qwen3.5, Gemma-4, R1-Distill-Qwen의 각 8B/30B 클래스) $\times$ 4개 벤치마크(AIME, GPQA Diamond, LiveCodeBench v5, HMMT)의 24개 실험 설정에서 평가를 수행하였다.

fig3

집계 결과:

주목할 점:

• IR3는 24개 셀 모두에서 비음(non-negative)의 이득을 달성 (100%의 일관성)
• 최대 이득: +9.2포인트 (R1-Distill-32B / LiveCodeBench v5: 25.8% $\rightarrow$ 35.0%, 상대적 +35.7%)
• 최소 이득: +0.1포인트 (Qwen3.5-35B-A3B / HMMT: 천장에 근접한 88.5%)
• VO(Voice-Over)의 개선(+0.61)에 대해, IR3의 추가 개선(+1.04)이 개선의 60% 이상을 차지하여, 통찰 추출 메커니즘의 기여도가 매우 크다.
• IR1(1라운드)에서도 토큰 배수 1.14$\times$로 +0.90 개선을 보여 효율적이다.

피크 정확도 검증

추론 길이를 빈(bin)으로 나누어 각 빈의 정확도를 비교하는 어블레이션(ablation) 실험에서는:

VO(사고의 연장만 수행)에서는 Qwen3.5-35B-A3B에서 Base의 피크를 밑도는 결과가 나타난 반면, IR3는 모든 모델에서 피크 정확도를 상승시켜 정리 2를 경험적으로 입증하였다.

Post-Training 실험

Qwen3-4B-Base에 GRPO로 수학 추론 훈련을 수행하고, 롤아웃(rollout) 시 InsightReplay를 통합한 실험에서도 현저한 효과가 확인되었다.

fig4-right

특히 중요한 것은 훈련의 안정성이다. 표준 CoT에서는 스텝 300 이후에 현저한 성능 저하(mean@32가 27.9%에서 21.6%로 하락)가 발생한 반면, InsightReplay는 훈련 전체에 걸쳐 안정적인 성능을 유지하였다. 이는 InsightReplay가 추론 시뿐만 아니라 훈련 시의 롤아웃 품질도 향상시킨다는 것을 보여준다.

고찰

단순함이 실용적 가치를 만든다

InsightReplay의 가장 큰 매력은 추가 훈련 없이 추론 시 적용이 가능하다는 점이다. 기존의 사고 모델에 대해 프롬프트 변경만으로 통합할 수 있다. 추가적인 파라미터 학습도, 외부 모델에 대한 의존도 필요하지 않다.

IR1(1라운드 리플레이)에서 +0.90포인트, 토큰 배수 1.14$\times$라는 결과는 실용적인 측면에서 매우 매력적인 트레이드오프(trade-off)다. 프로덕션 환경에서는 레이턴시(latency)와의 조율에 따라 IR1~IR3를 적절히 선택할 수 있다.

추론의 "상태성"이라는 새로운 관점

본 논문이 제시하는 "추론의 상태성(stateful reasoning)"이라는 개념은 CoT 연구에 중요한 관점을 더하고 있다. 기존의 CoT 연구는 주로 "얼마나 길게 생각하게 할 것인가"(depth scaling)에 초점을 맞추어 왔으나, InsightReplay는 "추론 중의 정보를 어떻게 유지할 것인가"(state maintenance)라는 별개의 축을 명시하고 있다.

이는 VPS (Verbal Critique의 제4축)나 LenVM (길이를 가치 추정하는 접근 방식)과 같이 추론 프로세스 자체의 구조를 개선하는 연구 계보와 공명한다.

관련 연구와의 위치 설정

한계와 과제

• 천장 효과 (Ceiling Effect): 베이스라인이 이미 높은 벤치마크 (HMMT에서 88%+ 등)에서는 개선 폭이 작음
• 토큰 오버헤드 (Token Overhead): IR3에서 평균 1.36배. 비용 민감도가 높은 용도에서는 IR1이 현실적임
• 추출 품질에 대한 의존성: 통찰 추출 자체가 모델의 능력에 의존하기 때문에, 약한 모델에서는 추출 품질이 저하될 가능성이 있음

요약

InsightReplay는 "긴 CoT 추론에서 모델은 자신의 중요한 통찰을 잊어버린다"라는 직관적이지만 간과되기 쉬운 문제에 대해, 이론적 뒷받침이 있는 우아한 해법을 제시하고 있다.

24개 셀 모두에서 일관된 개선, 최대 +9.2포인트의 이득, 추가 훈련이 필요 없다는 결과는 test-time scaling 연구에 있어 중요한 진전이다. 추론의 효과는 "얼마나 길게 생각하는가"뿐만 아니라, "얼마나 통찰을 수중에 유지할 수 있는가"에도 의존한다. 이 시사점은 향후 추론 모델 설계에 영향을 미칠 것으로 보인다.

참고

• 논문: Stateful Reasoning via Insight Replay (arXiv:2605.14457)
• 코드: GitHub - InsightReplay
• 저자: Bin Lei, Caiwen Ding, Jiachen Yang, Ang Li, Xin Eric Wang (University of Minnesota / Simular AI)

Discussion