정밀 엔트로피 곡선 제어를 통한 LLM 강화학습 성능 포화 현상 해결

요약

본 논문은 대형 언어 모델(LLMs)의 강화학습(RL) 학습 과정에서 발생하는 성능 포화 문제를 해결하기 위한 새로운 방법인 Entrocraft를 제안합니다. 기존 RL 알고리즘들이 겪는 엔트로피 붕괴 문제를 다루기 위해, Entrocraft는 거부 표본 추출 기반으로 사용자 정의 엔트로피 스케줄을 구현하며 목적 함수 정규화나 이득 추정기에 의존하지 않습니다. 실험 결과, Entrocraft는 LLM의 일반화 능력과 출력 다양성을 크게 개선하여 성능 포화 문제를 효과적으로 해결함을 입증했습니다.

핵심 포인트

• LLMs의 RL 학습은 엔트로피 붕괴로 인해 성능 포화(performance saturation) 문제가 발생한다.
• 제안된 Entrocraft는 거부 표본 추출(rejection-sampling)을 사용하여 목적 함수 정규화 없이 사용자 정의 엔트로피 스케줄을 구현한다.
• Entrocraft는 기존 RL 방법론의 한계를 극복하고, LLM의 일반화 및 출력 다양성을 크게 향상시킨다.
• 실험적으로 Entrocraft는 4B 모델이 8B 기준선을 능가하게 하고 pass@K를 50% 높이는 등 우수한 성능 개선을 보였다.