코딩 에이전트가 실제 장기적 엔지니어링 작업을 수행할 수 있는지 테스트하는 벤치마크 등장

잠시만요, 코딩 에이전트(coding agents)가 실제 장기적 호라이즌(long horizon) 엔지니어링 작업—레포지토리 이해(repo understanding), 다중 파일 편집(multi file edits), 도구 사용(tool use), 디버깅 루프(debugging loops), 테스트 피드백(test feedback), 그리고 전체 작업 과정에서 시스템의 일관성 유지(keeping the system coherent)—을 처리할 수 있는지 테스트하기 위한 벤치마크가 만들어졌습니다.

그리고 GPT 5.5는 이미 다음과 같은 수준에 도달해 있습니다.

오늘 우리는 에이전트 기반 코딩 벤치마크(agentic coding benchmarks)의 새로운 표준인 DeepSWE를 출시합니다.

공개 리더보드(public leaderboards)에서는 상위 모델들이 흔히 역량 면에서 비교적 비슷해 보입니다. DeepSWE는 모델들이 실제로 어디에서 차이를 보이는지 보여주며, 개발자들이 일상 업무에서 겪는 현실적인 경험을 반영합니다.