일관성 기반 강화학습을 통한 LLM의 코드 추론 능력 향상

요약

CodeThinker는 LLM의 코드 추론 능력을 향상시키기 위해 단계별 추론 과정의 일관성을 활용하는 새로운 강화학습 프레임워크입니다. 기존 방식의 희소 보상 및 보상 해킹 문제를 해결하기 위해 단계별 추론 인지 모델, 동적 빔 샘플링, 일관성 보상 메커니즘을 도입했습니다. 실험 결과, Qwen2.5-Coder-7B-Instruct를 포함한 여러 모델에서 최첨단 성능을 기록하며 수학 및 프로그래밍 태스크 전반에서 정확도를 개선했습니다.

핵심 포인트

• 기존 강화학습의 희소 보상 및 보상 해킹 문제를 단계별 일관성 추적을 통해 해결
• CodeThinker의 3대 핵심 요소: 단계별 추론 인지 학습, 동적 빔 샘플링, 일관성 보상 메커니즘
• Qwen2.5-Coder-7B-Instruct 적용 시 기존 베이스라인 대비 정확도 4.3% 향상
• 추가 학습 없이도 수학적 추론 및 17개 프로그래밍 언어 태스크에서 성능 향상 입증