우리는 작은 트랜스포머 모델들이 간단한 형태의 Chain of Thought를 활용할 수 있으며, 이를 protoreasoning이라고 부른다고 보여줍니다. 이는 우리가 약 1M 매개변수 규모의 모델에서 단계별 추론을 연구할 수 있게 하며, 더 큰 모델에서는 실현하기 어려웠던 훨씬 상세한 실험 및 분석 기회를 열어줍니다. 현재 대규모 언어 모델(LLMs)은 인상적인 단계별 추론 능력을 보이지만, 우리는 이것이 얼마나 일반적인지, 즉 LLMs가 단순히 '휴리스틱의 묶음'이 아니라 진정으로 일반적인 알고리즘을 언제 어떻게 학습하는지에 대해서는 아직 이해하지 못했습니다. 이러한 질문들은 불투명한 데이터로 훈련된 컴퓨팅 집약적인 최첨단 모델에서는 다루기 어렵습니다. 자연어 능력 임계치보다 훨씬 낮은 모델 규모에서 작업하기 위해, 우리는 Dyck 언어(올바르게 중첩된 브래킷의 문장)에 기반한 추론 친화적 과제를 정의합니다. 우리는 protoreasoning 트레이스가 분포 외 일반화 격차를 상당히 좁히며, 제거 실험을 통해 이 트레이스의 내용 자체가 단순히 추가 토큰이 아니라 성능 향상을 주도한다는 것을 확인했습니다.