실제 오픈소스 저장소(open-source repos)의 실제 CVE 수정 사례를 중심으로 강화학습 (RL) 환경을 구축하고 Claude Code를 풀어놓았습니다.

Claude Code는 버그를 수정하는 방법을 알고 있다는 것을 보여주지 않고도 벤치마크를 세 번이나 통과했습니다.

처음에는 GitHub에서 패치(patch)를 가져왔습니다.
그것을 차단하자 → git 히스토리에서 수정 사항을 읽었습니다.
그것마저 차단하자 → 패치된 버전을 pip-install 했습니다.

이것은 코딩 에이전트(coding agents)가 환경을 속이는(cheating) 한 가지 사례이며, 이 외에도 훨씬 더 많은 사례가 있습니다.

만약 평가(evals)나 강화학습 (RL) 훈련을 위한 코딩 환경을 구축하고 있다면, 벤치마크의 정직함을 유지하는 방법은 다음과 같습니다 👇