사고의 사슬 (Chain-of-thought, CoT)은 대규모 언어 모델 (Large Language Models, LLMs)로부터 추론 능력을 이끌어내기 위한 표준적인 접근 방식입니다. 그러나 일반적인 CoT 패러다임은 사고를 답변을 위한 전제 조건으로 취급하며, 이는 모델이 확장된 사고 이전에 답변을 식별할 수 있는 능력, 즉 수행적 추론 (performative reasoning)이라 알려진 동작이 가능할 때조차 타당한 답변에 대한 접근을 지연시키고 불필요한 토큰 비용을 발생시킬 수 있습니다. 본 논문에서는 사고와 답변의 일반적인 순서를 뒤집은 재구성된 추론 파이프라인인 CopT를 소개합니다. 답변하기 전에 사고하는 대신, CopT는 먼저 초안 답변 (draft answer)을 이끌어낸 다음, 성찰과 수정을 위해 해당 초안 답변을 조건으로 하는 후속 온폴리시 사고 (on-policy thinking)를 호출합니다. 초안 답변을 신뢰할 수 있는지 평가하기 위해, CopT는 연속적 임베딩 (continuous embeddings)을 추론 시점의 대조적 검증기 (contrastive verifiers)로 재구성합니다. 구체적으로, 이 방식은 이산 토큰 입력 (discrete-token inputs)과 연속 임베딩 입력 (continuous-embedding inputs) 하에서 동일하게 생성된 토큰에 대한 모델의 지지도를 대조하여, 답변 신뢰도에 대한 시퀀스 수준의 역 KL 추정치 (reverse KL estimator)를 산출합니다. 우리의 분석에 따르면, 특정 가정하에서 기대 추정치는 해결되지 않은 잠재 상태 (latent state)와 방출된 답변 토큰 사이의 상호 정보량 (mutual information)과 같으며, 이는 왜 이 방식이 잠재 상태의 임의적인 불확실성이 아닌 답변과 관련된 불확실성을 포착하는지를 설명해 줍니다. 답변이 충분히 신뢰할 수 없다고 판단되면, CopT는 추가적인 온폴리시 사고를 수행하며, 여기서 두 번째 KL 추정치가 초안 답변의 가시성을 동적으로 제어하여 유용한 부분 정보는 보존하면서 신뢰할 수 없는 콘텐츠에 의해 오도될 위험을 줄입니다. 수학, 코딩 및 에이전트 추론 (agentic reasoning) 작업 전반에 걸쳐, CopT는 추가적인 학습 없이도 유사하거나 더 높은 정확도에서 최대 23%의 최고 정확도를 향상시키고 토큰 사용량을 최대 57%까지 줄입니다. 코드는 https://github.com/sdc17/CopT 에서 확인할 수 있습니다.