SWE-rebench 리더보드 (2026년 3월, 4월, 5월): GPT-5.5, Opus 4.7, Cursor (Composer 2.5)

요약

SWE-rebench 리더보드가 110개의 새로운 Python 작업을 포함하여 업데이트되었습니다. 모델이 실제 GitHub PR 이슈를 해결하고 테스트를 통과하는 능력을 평가하며, 향후 소형 모델 추가 및 다국어 작업 지원을 계획하고 있습니다.

핵심 포인트

• 110개의 새로운 Python 기반 GitHub PR 작업 추가
• 실제 코드 수정 및 테스트 통과 여부를 평가하는 표준 방식 채택
• Gemini Flash 3.5, DeepSeek v4 Pro 등 소형 모델 추가 예정
• 다국어 작업 지원 및 더 큰 배치 단위의 업데이트 계획