정확한 코드, 깨진 기여? SWE-CC: 코딩 에이전트의 리포지토리 정책 준수성 벤치마킹

자율적인 코딩 에이전트는 이제 실제 GitHub 이슈의 상당 부분을 해결합니다. 하지만 기능 테스트를 통과하는 것과 병합(merging)에 적합한 고품질 기여물을 생성하는 것은 근본적으로 다릅니다. 성숙한 오픈 소스 프로젝트들은 코드 품질과 장기적인 유지보수성을 보장하기 위해 스타일, git 사용법, 테스트 워크플로우 등을 아우르는 리포지토리별 기여 정책을 발표합니다. 기존 벤치마크들이 패치를 오직 단위 테스트(unit tests)에 의해서만 평가하기 때문에, 에이전트가 리포지토리 거버넌스(repository governance)를 준수하는지는 여전히 알려지지 않은 상태입니다. 본 논문에서 우리는 자율적인 소프트웨어 엔지니어링의 코드 및 프로세스 준수성을 평가하는 벤치마크인 SWE-CC를 소개합니다. 우리는 12개 오픈 소스 리포지토리에 걸친 개발자 문서를 823개의 기계 검증 가능한 원자적 정책(atomic policies)으로 변환하는 반자동화된 파이프라인을 개발했습니다. SWE-CC는 두 가지 기능을 도입합니다: 1) 각 정책을 나타내는 경량의 결정론적 검사 함수(lightweight, deterministic checker functions), 2) 에이전트의 런타임 동작과 최종 결과물 모두를 검사하는 포괄적인 감사 메커니즘(comprehensive auditing mechanism). 우리는 SWE-bench Verified에서 확장된 500개의 엔드투엔드 소프트웨어 기여 작업에서 에이전트 워크플로우의 준수성을 평가했습니다. 두 가지 에이전트 스캐폴드(agent scaffolds) 하에서 네 개의 LLM에 대한 우리의 평가는 현대적인 에이전트들이 코딩 준수성 문제로 어려움을 겪고 있음을 보여줍니다: 비록 에이전트들이 기능적으로 올바른 패치를 생성하더라도, 적용 가능한 프로젝트 정책의 43.1%를 여전히 위반하며, 모든 위반 중 거의 절반은 중간 실행 단계에서 발생했습니다. 이러한 결과는 기능적 정확성이 실제 세계에서의 준비 상태를 보장하지 않으며, 안전하고 신뢰할 수 있는 배포를 가능하게 하려면 미래의 소프트웨어 엔지니어링 에이전트가 리포지토리 거버넌스에 안정적으로 부합해야 함을 강조합니다.