AI가 수행할 수 있는 가장 큰 소프트웨어 엔지니어링 작업은 무엇인가?

요약

AI가 자율적으로 수행할 수 있는 소프트웨어 엔지니어링 작업의 범위를 측정하기 위해 MirrorCode 벤치마크를 구축했습니다. 이 벤치마크는 AI가 며칠 동안 장기적으로 코딩할 수 있는 능력을 평가하며, 최상위 모델들은 인간 엔지니어가 몇 주간 걸릴 작업을 완료하는 성과를 보였습니다.

핵심 포인트

• 장기적(long-horizon) SWE 작업 평가를 위한 MirrorCode 벤치마크 구축
• AI의 자율적 코딩 수행 능력 및 지속 시간 측정
• 최상위 모델이 인간의 수 주 분량 작업을 완료함을 입증