정밀 엔트로피 곡선 제어를 통한 LLM 강화학습 성능 포화 현상 해결

강화학습 (Reinforcement Learning, RL) 은 대형 언어 모델 (Large Language Models, LLMs) 에 복잡한 추론 능력을 부여했습니다. 그러나 대부분의 RL 알고리즘은 RL 학습이 확장됨에 따라 추가적인 이득을 얻지 못하게 하는 성능 포화 (performance saturation) 문제를 겪습니다. 이 문제는 RL 에서 탐험 (exploration) 을 위한 핵심 진단 지표인 엔트로피의 붕괴로 특징지어질 수 있습니다. 기존 시도들은 정규화나 클리핑을 통해 엔트로피 붕괴를 막으려 했지만, 그 결과 얻어진 엔트로피 곡선은 장기적으로 불안정성을 보이며 성능 향상을 방해합니다. 본 논문에서는 편향 (bias) 을 주어 사용자 정의 엔트로피 스케줄을 실현하는 간단한 거부 표본 추출 (rejection-sampling) 접근법인 Entrocraft 를 소개합니다. Entrocraft 는 목적 함수 정규화가 필요 없으며, 이득 추정기 (advantage-estimator) 에 독립적입니다. 이론적으로 우리는 최소한의 가정 하에서 단계별 엔트로피 변화를 이득 분포와 관련지었으며, 이는 기존 RL 및 엔트로피 보존 방법의 동작을 설명합니다. Entrocraft 는 또한 엔트로피 스케줄에 대한 체계적인 연구를 가능하게 하며, 여기서 높은 값으로 시작하여 약간 낮은 목표값으로 감소하는 선형 어닐링 (linear annealing) 이 가장 잘 작동함을 발견했습니다. 경험적으로 Entrocraft 는 성능 포화 문제를 해결하여 일반화, 출력 다양성 및 장기 학습을 크게 개선합니다. 이는 4B 모델이 8B 기준선을 능가하도록 하며, 평탄화되기 전까지 개선 효과를 4 배 더 오래 유지하며, 기준선 대비 pass@K 를 50% 높입니다.