더 넓은 그물 던지기: 코드 추론을 위한 협력적 Pass@K 정책 최적화

검증기 (verifier)를 활용한 반복적인 샘플링은 코드 생성 (code generation)을 위해 테스트 시간 연산 (test-time compute)을 할당하는 표준적인 방법이며, pass@$K$가 표준적인 지표로 사용됩니다. 그러나 표준적인 정책 클래스는 단일 정답 분포에서 $K$개의 독립적인 샘플을 추출하기 때문에, 시도는 종종 거의 중복되는 추론 경로로 수렴하여 중복된 롤아웃 (rollouts)에 예산을 낭비하게 됩니다. 이러한 실패는 많은 문제들이 여러 개의 서로 다른 알고리즘 전략을 허용하고 pass@$K$가 단 하나의 올바른 시도만을 요구하는 경쟁 프로그래밍 (competitive programming)에서 비용이 많이 듭니다. 우리는 pass@$K$ 생성을 전략에 대한 공동 탐색 (joint exploration)으로 전환하는 협력적 Pass@$K$ 정책 최적화 (Coordinated Pass@$K$ Policy Optimization, CPPO)를 제안합니다. 즉, 플래너 (planner)가 $K{=}4$개의 대안적인 상위 수준 방법 (high-level methods) 튜플을 방출하면, 공유된 솔버 (solver)가 각 방법당 하나의 솔루션을 시도합니다. CPPO는 곱셈적 플래너 보상 (multiplicative planner reward)인 $R_{\mathrm{plan}} = J_ψ\cdot R_{\mathrm{out}}$을 사용하여 이 공동 정책을 학습하며, 검증기에 의해 확인된 pass@$K$ 성공으로 이어지는 유효한 전략 튜플에만 크레딧 (credit)을 할당합니다. APPS, CodeContests, LiveCodeBench-v6 전반에 걸쳐, CPPO는 동일한 $K{=}4$ 솔버 시도 예산 하에서 직접 샘플링 (direct sampling), 플래닝 베이스라인 (planning baselines), 플래너 전용 SFT (planner-only SFT), 그리고 pass@$K$ 지향 RL (pass@$K$-oriented RL)보다 pass@$4$ 성능을 향상시켰으며, 9개의 모델-벤치마크 셀 중 6개에서 통계적으로 유의미한 이득을 보였습니다. 가장 큰 단일 이득은 가장 강력한 베이스라인인 PKPO 대비 Qwen3.5-9B LiveCodeBench-v6에서 $+0.16$을 기록했습니다 ($0.588 \rightarrow 0.748$; paired bootstrap, $p < 0.05$).