모든 올바른 수정이 동일하게 작동하지 않는다: 리포지토리 수준 이슈 해결에서의 패치 성능에 대한 경험적 연구
요약
본 연구는 SWE-bench와 같은 리포지토리 수준 이슈 해결 벤치마크가 주로 정확성만 측정하고, 패치의 실제 런타임 성능은 간과하는 문제를 지적합니다. 이에 따라 기존의 F2P(Fail-to-Pass) 테스트를 재활용하여 여러 최신 LLM 모델로 생성된 패치들의 런타임 성능을 비교 분석했습니다. 연구 결과, 패치의 런타임 성능이 단순히 이슈 해결률과는 무관하며, 이 성능 분석이 아키텍처 회귀를 밝혀내는 데 유효함을 입증했습니다.
핵심 포인트
- 패치 성능 평가는 필수적이나 비용 문제로 어려움.
- F2P 테스트 재활용을 통해 런타임 성능 측정 가능.
- 성능 분석은 이슈 해결률과 독립적이며 모델 순위가 역전됨.
- 정확성만으로는 LLM의 능력을 충분히 평가할 수 없음.
SWE-bench와 같은 리포지토리 수준 이슈 해결 벤치마크는 제출된 패치가 정확성 테스트를 통과하는지에 기반하여 주로 평가하며, 다양한 테스트를 통과한 패치의 런타임 성능은 크게 탐구되지 않고 있습니다. 패치 성능을 평가하는 것은 필수적이지만, 각 벤치마크 인스턴스에 대한 성능 워크로드를 설계하는 것이 비용이 많이 들기 때문에 어렵습니다. 하지만 이러한 벤치마크는 이미 자연스러운 후보를 제공합니다: 이슈 수정으로 영향을 받는 동작을 테스트하는 내장된 extit{FAIL_TO_PASS} (F2P) 테스트입니다. 따라서 우리는 제공된 F2P 테스트가 패치 성능을 평가하는 데 재활용될 수 있는지 조사합니다. 전반적으로, 우리는 네 가지 최첨단 모델인 Claude Opus5, GPT5.6, DeepSeek V4 Pro, 그리고 Qwen~3.8 Max를 SWE-agent와 짝지어 SWE-bench 및 SWE-bench-Live의 검증된 분할에서 사전 필터링된 측정 가능한 코퍼스를 해결하여, 개발자 기반 진실 패치(developer ground-truth patch)를 포함한 적어도 두 가지 다른 올바른 솔루션을 가진 262개의 사례를 산출했습니다. 그런 다음 우리는 각 솔루션의 런타임 성능을 네이티브 F2P 테스트에서 명령어 수와 벽시계 시간으로 측정하고, 이전 연구에서 제안된 RSD 대신 더 강력한 통계적 판별 기준인 Welch ANOVA를 사용합니다. 우리는 이 방법론이 런타임 성능에서 주목할 만한 판별 능력을 보여주며 거의 절반의 사례에서 패치 간의 성능 차이를 식별한다는 것을 발견했습니다. 우리의 경험적 연구는 생성된 패치의 런타임 성능이 LLM의 이슈 해결률과 무관하며, 모델 순위가 거의 역전됨을 보여줍니다. 이 사례 연구는 또한 성능 분석이 정확성 평가가 놓친 일부 패치에서 아키텍처 회귀를 밝혀낸다는 것을 보여줍니다. 이러한 발견은 해결률만으로는 LLM의 리포지토리 수준 이슈 해결 능력을 충분히 특징화하지 못하며, 미래 평가가 패치 성능을 함께 고려하도록 동기를 부여합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기