강화학습 (Reinforcement Learning)을 통한 LLM 코드 생성용 프롬프트 최적화

요약

본 연구는 LLM의 코드 생성 성능을 높이기 위해 프롬프트 개선 과정을 강화학습(RL) 문제로 모델링하는 새로운 프레임워크를 제안합니다. PPO 에이전트가 유닛 테스트 피드백을 기반으로 프롬프트를 반복적으로 최적화하며, CodeT5+, CodeLLaMA, DeepSeek-Coder와 같은 모델에서 기존 방식보다 뛰어난 Pass@1 성능을 입증했습니다.

핵심 포인트

• 프롬프트 개선을 순차적 의사결정 문제로 정의하고 PPO 알고리즘을 적용함
• 직접 생성, 유전적 어휘 변이, 의미론적 재작성을 결합한 하이브리드 액션 공간 활용
• 유닛 테스트 피드백을 통한 보상 형성(Shaped Rewards) 방식 채택
• MBPP+, HumanEval+, APPS 벤치마크에서 기존 EPiC, Reflexion 등의 방식보다 높은 성능 달성