작은 트랜스포머 모델에서의 프로토추론(Protoreasoning)

요약

작은 규모의 트랜스포머 모델에서도 Chain of Thought를 활용한 '프로토추론(Protoreasoning)'이 가능함을 입증한 연구입니다. 1M 매개변수 규모의 모델을 통해 대규모 모델에서는 수행하기 어려웠던 상세한 추론 알고리즘 학습 과정을 분석합니다.

핵심 포인트

• 소규모 모델에서의 단계별 추론(Protoreasoning) 가능성 확인
• Dyck 언어를 활용한 추론 친화적 과제 정의
• 추론 트레이스가 단순 토큰 추가가 아닌 성능 향상의 핵심임을 입증
• 모델 규모 축소를 통한 추론 알고리즘의 일반화 과정 분석