실행을 넘어: 코드 생성(Code Generation)을 위한 정적 분석 보상 및 힌트 조건부 확산 강화학습 (Hint-Conditioned

요약

본 논문은 확산 언어 모델(DLMs)을 활용한 코드 생성 시 발생하는 '능력 절벽' 문제를 해결하기 위해 강화학습(RL) 사후 학습 전략을 연구합니다. 실행 기반 보상의 한계를 극복하기 위해 정적 분석 기반의 실행 불필요 보상과 힌트 조건부 샘플링의 효과를 분석하였으며, 작업 난이도에 따른 최적의 보상 설계 방안을 제시합니다.

핵심 포인트

• 실행 기반 보상의 대안으로 정적 검사(Static Checking)가 가장 강력한 실행 불필요 보상임을 확인
• DiffuCoder 모델의 HumanEval 성능을 53.9에서 67.1로 크게 향상시키고 롤아웃 시간을 9.4% 단축
• AST 기반 힌팅(AST-based Hinting)이 난이도가 높은 벤치마크에서 탐색 병목 현상을 완화하는 데 효과적임
• 작업 난이도에 따라 최적의 보상 설계가 달라지며, 쉬운 작업에는 유사도 기반 보상이, 어려운 작업에는 정적 검사가 유리함