추론 품질은 조기에 나타난다: 추론 모델을 위한 데이터 큐레이션 (Data Curation)

작고 고품질인 긴 추론 흔적 (reasoning traces) 세트에 대한 지도 미세 조정 (Supervised fine-tuning, SFT)은 대규모 언어 모델 (Large Language Models, LLMs)에서 강력한 추론 능력을 이끌어내는 효과적인 접근 방식입니다. 그러나 고품질 SFT 데이터를 큐레이션하는 기존 방법들은 다양성과 난이도를 기준으로 예시를 필터링하기 위해 강력한 추론 모델에 크게 의존하며, 이로 인해 큐레이션 과정의 비용이 많이 들고 종종 최적에 미치지 못하는 데이터 품질을 초래합니다. 본 연구에서는 초기 추론 토큰 (reasoning tokens)만을 사용하여 다양하고 도전적인 추론 예시를 식별할 수 있음을 보여줍니다. 구체적으로, 사전 학습된 모델 (pretrained model)의 무작위로 섭동된 체크포인트 (randomly perturbed checkpoint)에서 평가된 첫 100개 추론 토큰의 손실 (loss)을 기반으로 어려운 문제를 신뢰성 있게 탐지할 수 있음을 입증합니다. 나아가, 미세 조정 궤적 (fine-tuning trajectory)을 따라 외삽되는 소수의 섭동된 체크포인트들에 대해, 첫 1k 추론 토큰 동안 유사한 손실 패턴을 보이는 예시들은 증명 가능한 수준으로 유사한 그래디언트 (gradients)를 유도함을 보여줍니다. 우리는 M23K 의료 추론 및 OpenThoughts-Math 데이터셋에 대해 Qwen2.5-7B 및 Llama3.1-8B 모델을 미세 조정하는 광범위한 실험을 통해 우리의 접근 방식을 검증합니다. 우리의 방법은 토큰 효율성 면에서 91% 더 높으면서도 기존 베이스라인보다 최대 1.7% 더 우수한 성능을 보입니다.