ParanoiaEval: 에이전트 코딩에서 불필요한 방어 작업 벤치마킹

코딩 에이전트가 점차 자율적으로 실제 작업을 수행함에 따라, 이들의 위험 처리(risk treatments) 조치가 정당한지 판단하는 것이 중요해졌습니다. 기존 연구들은 관련 에이전트 행동을 개별적인 관점에서 평가하지만, 이러한 행동들을 통합할 수 있는 체계적인 프레임워크가 부족합니다. 이 격차를 해소하기 위해, 우리는 코딩 에이전트의 위험 처리 역량을 통일적으로 평가하는 최초의 벤치마크인 ParanoiaEval을 소개합니다. 소프트웨어 엔지니어링 위험 관리 분야에서 잘 확립된 회피-전이-완화-수용(Avoidance-Transfer-Mitigation-Acceptance) 프레임워크에 기반한 ParanoiaEval은 코딩 에이전트 환경을 위한 4가지 근본적인 처리 방식을 구체화하고, 오직 처리 정의 증거(treatment-defining evidence)만 다른 200개의 증거 제어 저장소 수준 작업 쌍을 포함합니다. 또한, 우리는 신뢰할 수 있는 평가를 위해 인간이 보정한 에이전트 심사관을 사용하여 위험 처리 위반 및 증거 반응성(evidence responsiveness)에 대한 전용 지표를 도입했습니다. 8가지 대표 모델과 사후 인간 연구를 대상으로 한 대규모 실험 결과, (I) 명시적인 증거가 있음에도 불구하고 불필요한 위험 처리가 실행의 11.2%~58.7%에서 발생하며, 에이전트 구성에 따라 상당한 편차가 나타났습니다; (II) 더 강력한 작업 역량이 더 적절한 위험 처리를 보장하지는 않으며, 처리 위반은 개발자의 경험을 크게 저해하여, 위험 처리가 독립적인 역량 차원임을 확립했습니다; 그리고 (III) 에이전트들은 기존 위험 관리 연구 결과와 일치하는 체계적인 패턴을 보여주어, 인간의 실무 지식이 이 역량의 진단과 개선을 안내할 수 있음을 시사합니다.