pass@k를 넘어: 다중 샘플 코드 생성(Multi-Sample Code Generation)을 위한 중복성 인식 RLVR

요약

코드 생성 모델의 평가 지표인 Pass@k와 강화학습(RLVR) 과정에서 발생하는 코드 중복성 문제를 연구합니다. 정확도만 추구하는 RLVR은 생성물의 중복성을 높이는 경향이 있으나, JPlag 유사도를 활용한 반중복성 보상을 통해 성능과 다양성을 동시에 개선할 수 있음을 입증했습니다.

핵심 포인트

• RLVR 학습 시 정확도 중심의 목적 함수는 코드 중복을 유발함
• JPlag를 활용해 코드 구현 수준의 중복성을 정량적으로 분석
• 반중복성 보상(Anti-redundancy Rewards)을 통해 생성물 다양성 확보
• 중복 억제 시 제한된 샘플링 예산 내 실행 가능 성능 향상