여러 사고자로부터 배우는 사고 학습 (Learning to Think from Multiple Thinkers)

요약

본 논문은 여러 명의 '사고자(thinkers)'가 제공하는 사슬 사고(Chain-of-Thought, CoT) 감독 하에 학습하는 방법을 연구한다. 기존 연구는 단일 사고자로부터의 CoT 감독을 사용하지만, 본 연구는 최종 결과만 감독받는 경우(CoT 부재)의 어려움을 다루며, 여러 사고자의 다양한 해결책을 활용할 수 있음을 보여준다. 특히, 목표 정확도 $\varepsilon$에 독립적인 소량의 CoT 데이터와 충분한 수동적 최종 결과 데이터를 사용하는 효율적인 활성 학습 알고리즘을 제안한다.

핵심 포인트

• 여러 사고자(thinkers)로부터의 CoT 감독 하에 모델 학습 가능성을 탐구함.
• 단일 CoT 감독만으로는 계산적으로 쉬운 클래스에 국한되지만, 여러 사고자는 더 넓은 범위를 다룰 수 있음.
• 최종 결과만으로 학습하는 것은 어렵다는 점을 이론적으로 입증함.
• 목표 정확도 $\varepsilon$에 독립적인 소량의 CoT 데이터와 충분한 최종 결과 데이터를 사용하는 활성 학습 알고리즘을 제시함.