Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 LLM의 복잡한 추론 능력을 이해하기 위해 사전 학습(Pre-training)부터 강화학습(RL)까지 전체 파이프라인을 연구합니다. 체스 게임이라는 통제된 테스트베드를 사용하여, RL 성능이 사전 학습 단계에서 형성되는 손실로부터 예측 가능하며, 어려운 문제에서는 SFT만으로는 얻기 어려웠던 능력을 발현함을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기강화학습 (RL)은 대규모 언어 모델 (LLMs)이 복잡한 추론 작업에서 성능을 향상시키는 데 핵심적인 요소가 되었지만, RL 후속 학습 과정은 그 이전에 이루어지는 사전 학습과 분리되어 연구되는 경우가 많습니다. 결과적으로 두 가지 기본적인 질문이 남아 있습니다: (1) 사전 학습의 선택(모델 크기, 데이터)이 RL 컴퓨팅에 대한 효과를 어떻게 형성하는지, 그리고 (2) RL이 실제로 모델에 무엇을 하는가? 이러한 질문들은 표준 LLM 환경에서 연구하기 어렵습니다. 왜냐하면 사전 학습 코퍼스는 방대하고 통제되지 않아 행동의 원인을 사전 학습 때문인지 RL 때문인지 구별하기 어렵고, 두 단계 모두에 걸친 체계적인 컴퓨팅 스윕은 비용이 너무 많이 들기 때문입니다. 이러한 어려움을 해결하기 위해, 우리는 체스를 통제된 테스트베드로 사용하여 전체 사전 학습부터 후속 학습까지의 파이프라인 전반에 걸쳐 추론을 연구합니다. 우리는 표준 LLM 훈련 파이프라인을 따라 인간 체스 게임으로 5M에서 1B 매개변수 규모로 언어 모델을 사전 학습하고, 합성된 추론 트레이스로 지도 미세 조정(SFT)을 수행하며, 검증 가능한 보상을 가진 체스 퍼즐에 대해 RL을 실행합니다. 이 프레임워크를 사용하여, 주어진 RL 컴퓨팅 수준에서의 후속 RL 성능은 사전 학습 손실로부터 잘 예측되며, RL 보상 곡선의 기울기는 사전 학습 토큰과 약 선형적으로 증가한다는 것을 발견했습니다. 스케일링을 넘어, 우리는 RL이 단순히 SFT 정책을 날카롭게 만드는 것이 아님을 발견합니다: 쉬운 퍼즐에서는 이미 SFT 정책이 선호했던 정답 수를 증폭시키는 반면, 어려운 퍼즐에서는 SFT 하에서 거의 존재하지 않았던 정답 수를 표면으로 드러냅니다. 나아가 우리는 우리의 발견이 체스를 넘어 다른 영역에서도 전이되는지 테스트하기 위해 수학 도메인 텍스트로 1B 언어 모델을 훈련시켰고, 여기서도 동일한 예측 패턴이 나타났습니다: 더 오래 사전 학습된 체크포인트가 더 높은 후속 RL 성능에 도달하며 RL 하에서 더 빠르게 개선됩니다. 요약하자면, 우리는 사전 학습과 RL의 인터페이스에 대한 정량적 설명과 전체 사전 학습부터 후속 학습까지의 파이프라인 전반에 걸쳐 추론 과학을 연구할 수 있는 통제된 테스트베드를 제공합니다.