AgentSWE: 코딩 에이전트가 사용자가 원하는 에이전트를 구축할 수 있을까?

요약

본 글은 코딩 에이전트가 사용자의 복잡한 워크플로우에 맞는 에이전트를 실제로 구축할 수 있는지 검증하는 새로운 벤치마크, AgentSWE를 소개합니다. 이 벤치마크는 자연어 요구사항 기반의 완전한 에이전트 생성부터 코드베이스 편집 및 최적화까지 세 단계를 다룹니다. 평가 결과, 현재 코딩 에이전트들은 시연과 실제 전달 사이의 큰 격차를 보이며, 요청된 기능을 충족하지 못하는 경향이 강함을 밝혀냈습니다.

핵심 포인트

• AgentSWE는 자연어 요구사항 기반 에이전트 구축 과정을 검증합니다.
• 에이전트는 단순한 시연을 넘어 실제 요구사항을 수행하는 데 어려움을 겪습니다.
• 주요 실패 모드는 과적합, 공허한 실행 시간, 근거 없는 주장 등입니다.
• 코딩 에이전트의 개선 방향성을 제시하는 중요한 신호가 됩니다.