대규모 언어 모델(LLM)은 점점 더 많은 AI slop을 생성된 코드에 포함시키고 있습니다. 이는 기능 검사를 통과하지만 코드베이스를 비대하게 만드는 장황하고, 중복되며, 관용적이지 않은 구현체입니다. 이 문제는 모델의 학습 차단 시점 이후에 출시되는 SDK에서 더욱 심화되는데, 이때 모델은 관용적인 선험 지식(idiomatic priors)이나 구성적 이해(compositional understanding)를 갖추지 못했기 때문입니다.
저희는 Option-GRPO라는 계층적 강화학습(hierarchical reinforcement learning, RL) 프레임워크를 제시합니다. 이 프레임워크는 인간이 작성한 사용 예시나 테스트 케이스 없이 오직 소스 코드만으로 코드를 생성하는 LLM을 미지의 SDK에 적응시키며, 기능적 정확성과 코드 우아함(code elegance) 두 가지 모두를 명시적으로 최적화합니다. 저희의 핵심 통찰은 SDK 소스 코드에 재사용 가능한 코드 패턴(코드 옵션)이라는 구성적 구조가 포함되어 있다는 것입니다. 이 패턴들은 커리큘럼의 빌딩 블록 역할을 할 뿐만 아니라, 효율적인 정책 최적화를 위한 행동 공간 역할도 동시에 수행합니다.
저희는 코드 옵션이 유효한 준마르코프 결정 과정(semi-Markov decision process)을 유도하며, 더 짧은 옵션 설명 길이가 더 간결하고 기대값상 API 효율적인 프로그램을 의미하는 조건부 경계(conditional bounds)를 제공함을 보여줍니다. 또한 명시된 가정 하에, 이 옵션 계층 구조가 크레딧 할당(credit assignment)을 $\sqrt{T/K}$ 배만큼 향상시킨다는 것을 분석합니다.
Option-GRPO는 각 커리큘럼 수준에서 실행 기반 보상(execution-based rewards)과 함께 Group Relative Policy Optimization (GRPO)를 사용하여 SDK의 관용적인 표현들을 발견하고, 이를 패턴으로 구성하며, 최종적으로 패턴들을 완전한 프로그램으로 조립합니다. 32B 파라미터 기본 모델을 사용해 테스트한 12개의 미지 SDK에 대한 실험 결과, Option-GRPO는 pass@1에서 61.4%를 달성하여 flat GRPO보다 8.7 포인트, ExploraCoder보다 11.2 포인트, ReCode보다 6.3 포인트 높은 성능을 보였습니다. Option-GRPO가 생성한 솔루션은 flat-GRPO 출력물보다 API 호출이 34.7% 적고 길이가 27% 짧으면서도 더 높은 정확도를 유지하여, slop 문제를 직접적으로 해결합니다.