말 없이 사고하기: 추상적 사슬의 사고를 통한 효율적인 잠재적 추론

긴 명시적 사슬의 사고 (Chain-of-Thought, CoT) 는 복잡한 추론 작업에서 효과적이었으나, 추론 과정에서 생성 비용이 높습니다. 연속적 표현을 활용하여 더 짧은 생성 길이를 갖는 비언어적 추론 방법이 등장했지만, 그 성능은 언어화된 CoT 에 뒤쳐집니다. 우리는 자연어 CoT 대신 사전에 예약된 어휘에서 짧은 토큰 시퀀스를 생성한 후 응답을 생성하기 전에, 언어 모델이 작동하는 $ extbf{Abstract Chain-of-Thought}$ 라는 이산적 잠재적 추론 사후 학습 메커니즘을 제안합니다. 이전에 보지 못한 ''추상적'' 토큰들을 유용하게 만들기 위해, 우리는 (i.) 말로 된 CoT 에서 마스킹을 통해 병목 현상을 일으키고 감독 학습 미세 조정 (supervised fine-tuning) 을 수행하는 것과, (ii.) 코드북으로 제한된 디코딩을 통해 프롬프트 만으로부터 추상적 토큰을 생성하도록 모델을 훈련하는 자기 증류 (self-distillation) 로 교차하는 정책 반복 스타일의 워밍업 루프를 도입합니다. 워밍업 후, 우리는 제한된 디코딩 하에 온스트트 강화 학습으로 추상적 시퀀스의 생성을 최적화합니다. Abstract-CoT 는 수학 추론, 지시어 준수, 다중 홉 추론 등 다양한 분야에서 비교 가능한 성능을 보여주면서 추론 토큰을 최대 $11.6 imes$ 줄일 수 있으며, 언어 모델 계열 전반에 걸쳐 일반화됩니다. 우리는 또한 자연어에서 볼 수 있는 것과 유사하게 훈련 단계에 따라 진화하는 추상적 어휘에 대한 나타나는 멱법칙 분포 (power law distribution) 도 발견했습니다. 우리의 연구 결과는 학습된 추상적 추론 언어를 통해 효율적인 추론을 가능하게 하는 사후 학습 잠재적 추론 메커니즘의 가능성을 강조합니다.