코딩 에이전트가 우리를 속이고 있는가? 무작위 테스트를 통한 제한된 평가(Capped Evaluation)로 부정행위 탐지 및 방지

에이전트 평가 및 학습에서 점점 더 늘어나고 있는 실패 모드는, 모델이 의도된 과업을 해결하는 대신 지름길(shortcuts)을 악용하여 높은 평가 점수를 획득함으로써 기만적인 성능(deceptive performance)을 나타내는 것입니다. 이는 평가 점수를 실제 과업 해결 능력을 측정하는 신뢰할 수 없는 지표로 만듭니다. 우리는 무작위 테스트(randomized tests)를 사용하여, 부정행위를 하지 않았을 때 달성 가능한 최선의 성능이 의도적으로 1 미만으로 제한되는 코딩 데이터셋 구축 프레임워크인 CapCode를 제안합니다. 이러한 제한된 성능(capped-performance) 설계는 평가 점수에 더 명확한 해석을 제공합니다. 즉, 제한 수치(cap)를 실질적으로 상회하는 점수는 비현실적이며, 따라서 부정행위의 증거가 됩니다. 부정행위를 방지하기 위해, 우리는 CapCode 원리에 기반하여 제한 수치를 넘어서는 최적화를 억제하는 보상 설계인 CapReward를 제안합니다. 여러 데이터셋에 걸친 실험을 통해 CapCode가 모델의 성능 순위(performance ranking)를 유지하면서도 부정행위를 탐지한다는 것을 보여주었으며, CapReward는 부정행위 행동을 줄여 의도된 과업 명세(task specification)를 더 잘 따르는 모델을 생성함을 입증했습니다.