Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
이슈 리포트 없이 선제적으로 버그를 발견하고 수정하는 코딩 에이전트를 평가하기 위한 새로운 벤치마크 Active-SWE를 소개합니다. 기존의 반응적 방식에서 벗어나 다중 버그 수정 및 잠재적 버그 발견 능력을 종합적으로 평가합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기대규모 언어 모델 (LLMs) 기반의 코딩 에이전트 (Coding agents)는 소프트웨어 엔지니어링 (SWE) 시나리오에서 점점 더 많이 채택되고 있으며, 대규모 코드베이스에서 특정 버그를 수정할 수 있는 능력을 갖추고 있습니다. 그러나 기존의 SWE 벤치마크들은 일반적으로 상세한 정보가 포함된 고품질의 이슈 리포트 (issue reports)가 항상 사용 가능하다는 것을 가정하는데, 이는 실제 환경에서 리포트 획득 및 큐레이션 (curation)의 복잡성으로 인해 쉽게 위배될 수 있습니다. 이를 해결하기 위해, 우리는 리포트의 가이드 없이 여러 버그를 선제적으로 발견하고 수정하는 코딩 에이전트를 평가하기 위한 벤치마크인 Active-SWE를 소개합니다. 이는 6개의 버그 카테고리와 8개의 언어에 걸쳐 1,663개의 태스크를 다룹니다. 기존의 반응적 버그 수정 (reactive bug fixing)에서 선제적 버그 수정 (proactive bug fixing)으로 초점을 전환하는 것을 넘어, Active-SWE는 특정 기록된 버그를 수정하는 범위에서 다중 버그 수정 (multiple-bug fixing) 및 잠재적 버그 발견 (potential bug discovery) 시나리오로 범위를 확장함으로써 더욱 심도 있는 평가를 가능하게 합니다. Active-SWE를 구축하기 위해, 우리는 선제적 버그 수정 능력을 종합적으로 평가할 수 있도록 돕는 이중 트랙 평가 프레임워크 (dual-track evaluation framework)를 갖춘 새로운 난이도 인식 태스크 정식화 파이프라인 (difficulty-aware task formulation pipeline)을 제안합니다. 광범위한 실험 결과, 대부분의 최첨단 (state-of-the-art) 코딩 에이전트들이 선제적 버그 수정 태스크에서 어려움을 겪고 있음을 보여주었으며, 이는 기록된 버그의 위치 파악 및 해결, 다중 버그 수정 시나리오 처리, 그리고 유효한 잠재적 버그 발견 측면에서 제한적인 성능을 나타냅니다.