- SWE-sweep은 버그 설명이나 위치 힌트 없이, LLM 에이전트가 대규모 코드베이스에서 스스로 결함을 찾아 수정하는 능력을 측정하는

요약

SWE-sweep은 LLM 에이전트가 대규모 코드베이스에서 버그 설명이나 위치 힌트 없이 스스로 결함을 찾아 수정하는 능력을 측정하는 새로운 벤치마크입니다. 이 평가는 회귀 방지 및 다중 버그 해결의 어려움을 보여주며, 최고 성능 모델조차 낮은 해결률을 기록하여 완전 자율적 소프트웨어 엔지니어링이 여전히 어려운 과제임을 입증했습니다.

핵심 포인트

• SWE-sweep은 힌트 없이 LLM 에이전트의 자율적인 버그 수정 능력을 측정합니다.
• 에이전트는 기존 기능을 깨뜨리지 않으면서 다수의 공존하는 버그를 해결해야 합니다.
• 최고 성능 모델조차 낮은 해결률(9.5%)을 보여 높은 난이도를 입증했습니다.