사용자가 겪기 전에 버그를 수정하는 것에 대한 새로운 LLM 벤치마크

요약

이 글은 사용자가 버그를 겪기 전에 모델이 스스로 잠재적인 버그를 찾아내고 수정하는 능력을 테스트하는 새로운 LLM 벤치마크, SWE-sweep을 소개합니다. 이 벤치마크는 실제 세계의 숨겨진 버그 세트를 기반으로 에이전트가 대규모 코드베이스에서 얼마나 많은 버그를 발견하고 고칠 수 있는지 평가합니다.

핵심 포인트

• SWE-sweep은 사용자가 경험하기 전에 모델의 잠재적 버그 수정 능력을 테스트합니다.
• 실제 세계의 숨겨진 버그 세트를 기반으로 점수를 매기는 것이 특징입니다.
• 벤치마크는 대규모 코드베이스에서 에이전트가 버그를 발견하고 고치는 과정을 평가합니다.
• 모든 자료(코드, 논문)는 GitHub에 오픈 소스로 공개됩니다.