새로운 AI 벤치마크 출시: ProgramBench

요약

새로운 AI 벤치마크인 ProgramBench가 출시되었습니다. 이 벤치마크는 소스 코드와 인터넷 없이 컴파일된 바이너리만으로 프로그램을 재구축해야 하는 매우 높은 난이도의 소프트웨어 엔지니어링 능력을 측정합니다.

핵심 포인트

• 소스 코드와 인터넷 없이 바이너리만으로 작업 수행
• 단순 코딩이 아닌 실제 소프트웨어 엔지니어링 역량 평가
• Claude Opus 4.8이 현재 가장 높은 성능 기록
• 최상위 모델들도 과제 해결에 큰 어려움을 겪는 높은 난이도