밀집 보상 (Dense Rewards)을 이용한 코드 생성용 도메인 적응형 강화학습 (Domain-Adaptable Reinforcement

요약

본 논문은 코드 생성 LLM이 도메인 특화 제약 조건과 물리적 환경을 더 잘 이해하도록 돕는 강화학습(RL) 프레임워크를 제안합니다. PPO를 활용하여 구문, 기능적 정확성, 보안 및 시뮬레이터 실행 가능성을 포함하는 밀집 보상(Dense Rewards) 체계를 구축하였으며, 이를 통해 범용 코드 생성 및 로보틱스 분야에서 성능을 크게 향상시켰습니다.

핵심 포인트

• PPO를 활용하여 사전 학습된 LLM을 도메인 특화 요구 사항에 맞게 미세 조정하는 프레임워크 제시
• 구문, 기능성, 코드 스타일, 보안, 시뮬레이터 실행 가능성을 포괄하는 맞춤형 실행 인식 보상 공식 설계
• 토큰 수준의 보상 매핑을 통해 실행 결과로부터 생성된 토큰으로의 효과적인 신용 할당(Credit Assignment) 구현
• MBPP에서 pass@1 수치 19% 증가 및 RoboEval에서 실행 실패 51% 감소라는 유의미한 성능 개선 입증