AI가 수행할 수 있는 가장 큰 소프트웨어 엔지니어링 작업은 무엇인가?
요약
AI가 자율적으로 수행할 수 있는 소프트웨어 엔지니어링 작업의 범위를 측정하기 위해 MirrorCode 벤치마크를 구축했습니다. 이 벤치마크는 AI가 며칠 동안 장기적으로 코딩할 수 있는 능력을 평가하며, 최상위 모델들은 인간 엔지니어가 몇 주간 걸릴 작업을 완료하는 성과를 보였습니다.
핵심 포인트
- 장기적(long-horizon) SWE 작업 평가를 위한 MirrorCode 벤치마크 구축
- AI의 자율적 코딩 수행 능력 및 지속 시간 측정
- 최상위 모델이 인간의 수 주 분량 작업을 완료함을 입증
AI가 수행할 수 있는 가장 큰 소프트웨어 엔지니어링 (Software Engineering) 작업은 무엇인가?
이를 답변하기 위해, 우리는 AI가 한 번에 며칠 동안 자율적으로 코딩할 수 있게 해주는 우리의 장기적 (long-horizon) SWE 벤치마크인 MirrorCode를 구축했습니다.
가장 뛰어난 모델들은 인간 엔지니어가 몇 주가 걸릴 것으로 추정되는 일부 작업들을 완료합니다. https://t.co/bQRaR4SJb8
AI 자동 생성 콘텐츠
본 콘텐츠는 X 토픽: Benchmark의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0