DeepSWE: 오늘날의 프론티어 모델들이 실제로 코드를 얼마나 잘 작성할 수 있는지 살펴보는 새로운 벤치마크

요약

DeepSWE는 프론티어 모델의 실제 코드 작성 능력을 평가하기 위해 설계된 새로운 벤치마크입니다. 데이터 오염을 방지하고 실제 소프트웨어 엔지니어링의 복잡성을 반영하며, 신뢰할 수 있는 검증 방식을 제공합니다.

핵심 포인트

• 사전 학습 데이터 오염이 없는 순수 작업 구성
• 5개 언어 및 91개 저장소를 아우르는 높은 다양성
• 실제 세계의 복잡성을 반영한 코드 및 토큰 요구량
• 소프트웨어 동작 중심의 수동 작성 검증기 활용