실행을 넘어: 코드 생성(Code Generation)을 위한 정적 분석 보상 및 힌트 조건부 확산 강화학습 (Hint-Conditioned

강화학습 (Reinforcement Learning, RL)은 확산 언어 모델 (Diffusion Language Models, DLMs)을 코드 생성 (Code Generation)의 기능적 정확성에 맞추는 데 중요한 패러다임입니다. 그러나 이러한 모델들은 복잡한 작업에서 실행 기반의 의미론적 보상 (Semantic Rewards)이 유효한 학습 신호를 제공하기에 너무 낮아지는 "능력 절벽 (Capability Cliff)" 현상을 자주 겪습니다. 본 논문에서는 보상 설계 (Reward Design), 힌트 조건부 샘플링 (Hint-conditioned Sampling), 그리고 작업 난이도 (Task Difficulty)라는 세 가지 축을 따라 확산 기반 코드 생성을 위한 RL 사후 학습 (Post-training)에 대한 체계적인 실증 연구를 제시합니다. 우리는 전통적인 단위 테스트 (Unit-test) 실행의 대안으로서 실행이 필요 없는 보상 (Execution-free Rewards)의 효과, 탐색 병목 현상 (Exploration Bottlenecks)을 완화하는 데 있어 훈련 시간 중 힌트 조건부 확산 샘플링의 역할, 그리고 이러한 설계 선택이 서로 다른 난이도를 가진 작업들에 따라 어떻게 달라지는지를 조사합니다. HumanEval, MBPP, LiveCodeBench에 걸쳐 실험한 결과, 정적 검사 (Static Checking)가 우리의 설정에서 가장 강력한 단독 실행 불필요 보상임을 확인하였으며, 특히 DiffuCoder의 성능을 HumanEval에서 53.9에서 67.1로, LiveCodeBench에서 14.9에서 15.5로 향상시키는 동시에 롤아웃 시간 (Rollout Time)을 9.4% 단축했습니다. 나아가 우리는 적절한 수준의 AST 기반 힌팅 (AST-based Hinting)이 더 어려운 벤치마크에서 가장 유용하다는 것을 발견했으며, 최적의 보상 설계는 작업 난이도에 따라 크게 달라진다는 점을 확인했습니다. 즉, 유사도 기반 보상 (Similarity-based Rewards)은 더 쉬운 하위 집합에서 더 효과적인 반면, 정적 검사는 실행 보상이 낮은 더 어려운 하위 집합에서 더 신뢰할 수 있습니다. 이러한 발견은 보상 설계와 훈련 가이드 (Training Guidance)가 우리가 평가한 코드 생성 설정에서의 확산 RL (Diffusion RL) 성능에 실질적인 영향을 미친다는 것을 시사합니다.