말 없이 사고하기: 추상적 사슬의 사고를 통한 효율적인 잠재적 추론

요약

본 논문은 기존의 긴 명시적 사고 과정(CoT)이 높은 생성 비용 문제를 해결하기 위해, 자연어 대신 사전 정의된 어휘에서 짧은 토큰 시퀀스를 생성하는 '추상적 사슬의 사고(Abstract Chain-of-Thought, Abstract-CoT)' 메커니즘을 제안합니다. 이 방법은 마스킹 및 감독 학습 미세 조정과 자기 증류를 통해 추상적 토큰 생성을 훈련하고, 강화 학습으로 최적화하여 성능을 극대화합니다. 그 결과, 수학 추론 등 다양한 분야에서 CoT와 비교 가능한 성능을 유지하면서도 추론 토큰 길이를 최대 11.6배까지 줄일 수 있음을 입증했습니다.

핵심 포인트

• Abstract-CoT는 높은 비용의 명시적 CoT를 대체하는 효율적인 잠재적 추론 메커니즘이다.
• 훈련 과정은 마스킹 기반 감독 학습과 자기 증류(Self-Distillation)를 결합한 워밍업 루프를 사용한다.
• 최종적으로 강화 학습(RL)을 통해 추상적 시퀀스 생성을 최적화하여 성능을 확보한다.
• 이 방법은 CoT와 비교 가능한 성능을 유지하면서도 추론 토큰 길이를 획기적으로 단축할 수 있다.