CopT: 일반 및 에이전트 추론을 위한 연속 공간에서의 대조적 온폴리시 사고 (Contrastive On-Policy Thinking)

원문 발행 2026. 05. 20. 01:28원문 언어 영어AI 한국어 번역arXiv cs.CL 원문 보기

요약

CopT는 기존의 '사고 후 답변' 방식에서 벗어나, 먼저 초안 답변을 생성한 뒤 이를 바탕으로 성찰과 수정을 수행하는 새로운 추론 파이프라인을 제안합니다. 연속적 임베딩을 활용한 대조적 검증기를 통해 답변의 신뢰도를 평가하며, 신뢰도가 낮을 경우에만 추가적인 사고를 수행하여 효율성을 극대화합니다. 이를 통해 수학, 코딩, 에이전트 추론 작업에서 정확도를 높이면서도 토큰 사용량을 크게 절감할 수 있습니다.

핵심 포인트

사고와 답변의 순서를 뒤집어 초안 답변을 먼저 생성하는 재구성된 추론 파이프라인 제안
연속적 임베딩을 활용한 대조적 검증기로 답변의 신뢰도를 역 KL 추정치로 산출
신뢰도가 낮은 경우에만 추가적인 온폴리시 사고를 수행하여 불필요한 토큰 비용 방지
추가 학습 없이도 정확도를 최대 23% 향상시키고 토큰 사용량을 최대 57% 절감

사고의 사슬 (Chain-of-thought, CoT)은 대규모 언어 모델 (Large Language Models, LLMs)로부터 추론 능력을 이끌어내기 위한 표준적인 접근 방식입니다. 그러나 일반적인 CoT 패러다임은 사고를 답변을 위한 전제 조건으로 취급하며, 이는 모델이 확장된 사고 이전에 답변을 식별할 수 있는 능력, 즉 수행적 추론 (performative reasoning)이라 알려진 동작이 가능할 때조차 타당한 답변에 대한 접근을 지연시키고 불필요한 토큰 비용을 발생시킬 수 있습니다. 본 논문에서는 사고와 답변의 일반적인 순서를 뒤집은 재구성된 추론 파이프라인인 CopT를 소개합니다. 답변하기 전에 사고하는 대신, CopT는 먼저 초안 답변 (draft answer)을 이끌어낸 다음, 성찰과 수정을 위해 해당 초안 답변을 조건으로 하는 후속 온폴리시 사고 (on-policy thinking)를 호출합니다. 초안 답변을 신뢰할 수 있는지 평가하기 위해, CopT는 연속적 임베딩 (continuous embeddings)을 추론 시점의 대조적 검증기 (contrastive verifiers)로 재구성합니다. 구체적으로, 이 방식은 이산 토큰 입력 (discrete-token inputs)과 연속 임베딩 입력 (continuous-embedding inputs) 하에서 동일하게 생성된 토큰에 대한 모델의 지지도를 대조하여, 답변 신뢰도에 대한 시퀀스 수준의 역 KL 추정치 (reverse KL estimator)를 산출합니다. 우리의 분석에 따르면, 특정 가정하에서 기대 추정치는 해결되지 않은 잠재 상태 (latent state)와 방출된 답변 토큰 사이의 상호 정보량 (mutual information)과 같으며, 이는 왜 이 방식이 잠재 상태의 임의적인 불확실성이 아닌 답변과 관련된 불확실성을 포착하는지를 설명해 줍니다. 답변이 충분히 신뢰할 수 없다고 판단되면, CopT는 추가적인 온폴리시 사고를 수행하며, 여기서 두 번째 KL 추정치가 초안 답변의 가시성을 동적으로 제어하여 유용한 부분 정보는 보존하면서 신뢰할 수 없는 콘텐츠에 의해 오도될 위험을 줄입니다. 수학, 코딩 및 에이전트 추론 (agentic reasoning) 작업 전반에 걸쳐, CopT는 추가적인 학습 없이도 유사하거나 더 높은 정확도에서 최대 23%의 최고 정확도를 향상시키고 토큰 사용량을 최대 57%까지 줄입니다. 코드는 https://github.com/sdc17/CopT 에서 확인할 수 있습니다.

AI 자동 생성 콘텐츠

원문 바로가기

CopT: 일반 및 에이전트 추론을 위한 연속 공간에서의 대조적 온폴리시 사고 (Contrastive On-Policy Thinking)

요약

핵심 포인트

댓글