새로운 AI 벤치마크가 방금 출시되었습니다: ProgramBench.

이 벤치마크는 매우 혹독합니다. 모델은 오직 컴파일된 바이너리 (compiled binary)와 일부 문서만을 제공받은 뒤, 처음부터 프로그램 전체를 다시 구축해야 합니다. 소스 코드 (source code)도 없고, 인터넷 (internet)도 사용할 수 없으며, 디컴파일 (decompilation)도 허용되지 않습니다.

가장 뛰어난 모델들조차 문제를 완전히 해결하는 경우가 거의 없습니다. Claude Opus 4.8이 2개의 과제를 완전히 해결하며 선두를 달리고 있고, GPT-5.5는 1개를 해결했습니다. 두 모델 모두 평균적으로 약 70%의 숨겨진 행동 테스트 (behavioral tests)를 통과하고 있습니다.

이것이 바로 우리가 더 많이 필요로 하는 종류의 벤치마크입니다. 단순한 장난감 수준의 코딩 (toy coding)이 아닌, 실제 소프트웨어 엔지니어링 (software engineering)입니다.
[IMG:1]