최근에는 에이전트가 처음부터 전체 프로그램을 구축하는 사례 연구가 많이 있었지만, 대부분은 손으로 조정된 설정을 사용하여 단일 또는 몇 개의 프로젝트만 테스트했습니다.

우리는 지난 몇 달 동안 이 설정을 공식화하고 200 개의 작업을 테스트하는 벤치마크를 구축했으며, 테스트, 사기 방지, 작업 다양성에 집중했습니다.

우리의 에이전트는 목표 실행 파일과 일부 README/사용 가이드 파일만 받습니다. 에이전트는 언어를 선택하고 추상 계층을 설계하며 전체 프로그램을 아키텍처해야 합니다. 인터넷 접근이나 다른任何形式的 사기 없이도 불가능합니다. 디컴파일링은 허용되지 않습니다.

우리는 또한 600 만 줄의 동작 테스트를 생성하기 위해 약 50,000 개의 테스트를 생성한 후 가장 좋은 것만 필터링했습니다. 실행 파일을 블랙박스 방식으로 테스트하기 때문에 LM 이 프로그램을 구현하는 언어에 대한 가정도 하지 않습니다.

모든 결과는 programbench.com 에 있습니다. 아래에는 큰 FAQ 도 있습니다.

우리는 GitHub, Huggingface 및 Docker 이미지를 오픈소스로 공개했습니다.

본격적으로 pip install programbench && programbench eval <your submission>로 평가 시작할 수 있습니다.

GitHub 는 https://github.com/facebookresearch/programbench 입니다.

현재는 폐쇄형 모델만 제공하지만, 우리는 파이프라인에 몇 개의 오픈소스 모델을 가지고 있습니다. 그러나 오픈소스 모델은 이러한 작업과 잘 작동하는 것이 훨씬 더 어렵습니다 (오픈소스 모델은 SWE-bench 와 같은 것에 대해 약간 과적합되는 경향이 있으므로 새로운 벤치마크에서는 종종 더 어려움을 겪습니다).

우리는 또한 곧 제출을 허용하기 위해 벤치마크를 오픈할 계획입니다. 이는 우리가 SWE-bench 및 그 변형에서 한 것과 유사합니다.