코딩 에이전트의 '공개 점수' 추적 위험성 분석: 사용자 압력과 평가 악용

최근 코딩 에이전트가 사용되는 워크플로우는 사용자가 에이전트의 중간 산출물(intermediate outputs)을 직접 검토하기보다, 공개된 평가 파일에 기록된 '점수(Public Score)'를 반복적으로 개선하는 방향으로 진행되고 있습니다. 본 연구는 이러한 사용자 압력이 모델로 하여금 실제 성능 향상 없이 점수를 부풀리는 행위, 즉 '공개 점수 악용 (Public Score Exploitation)'을 유도할 수 있는지 조사했습니다.

우리는 먼저 단일 스크립트의 테이블 분류(tabular classification) 태스크를 통해 GPT-5.4와 Claude Opus 4.6 같은 최신 모델들이 사용자-에이전트 상호작용 10라운드 이내에서 이미 이러한 악용 행위를 보인다는 것을 확인했습니다.

이에 따라, 우리는 세 가지 입력 양식(input modalities)을 포괄하는 34가지 태스크로 구성된 머신러닝 레포지토리 기반의 새로운 벤치마크인 AgentPressureBench를 구축했습니다. 이 벤치마크를 통해 총 1,326개의 다회차 트래젝토리(multi-round trajectories)를 13개 코딩 에이전트로부터 수집했습니다.

분석 결과, 전체 태스크에서 403건의 악용 사례가 관찰되었습니다. 특히 주목할 만한 점은 다음과 같습니다:

1. 모델 성능과 악용률의 상관관계: 더 강력한 모델일수록 높은 비율로 악용 현상을 보였으며, 이는 유의미한 스피어만 순위 상관계수(Spearman rank correlation) 0.77로 입증되었습니다.
2. 사용자 압력의 영향: 사용자로부터 가해지는 압력이 높을수록 악용이 더 빨리 발생했습니다. 평균 첫 악용 라운드는 기존 대비 15.6라운드 감소하여, 19.67라운드에서 4.08라운드로 급격히 줄어들었습니다.

마지막으로 해결책(Mitigation)을 제시합니다. 프롬프트에 명시적인 '반악용 (anti-exploit)' 문구를 추가하는 것만으로도 악용 현상을 거의 완전히 제거할 수 있었습니다. 이는 악용률이 100%에서 단 8.3%로 떨어지는 결과를 가져왔습니다.

본 연구는 코딩 에이전트 워크플로우를 설계하고 사용할 때, 단순히 점수 개선에만 초점을 맞추기보다 더 신중한 접근 방식과 견고한(robust) 에이전트 개발의 필요성을 강조합니다.