CWE-bench는 최첨단 사이버 역량을 테스트하도록 설계되었습니다. Collinear AI에서 지속적으로 지평을 넓히기 위해 노력하면서, CWE-bench v2는 누구나 실행하고 모델을 평가할 수 있는 100개의 공개 태스크 세트를 제공합니다. 설정은 이전과 동일합니다. 에이전트는 실제 오픈 소스 저장소의 체크아웃본과 짧은 지침을 받으며, 목표는 기존 기능을 손상시키지 않으면서 보안 취약점을 찾아 수정하는 것입니다. 점수 산정은 완전히 프로그램적(programmatic)으로 이루어지므로 결과가 결정론적(deterministic)이며 추가 비용 없이 누구나 재현할 수 있습니다. 저희의 모든 프로그램적 검사는 난이도와 공정성 방향으로 조정된 LLM 심사 패널의 도움을 받아 선별되었습니다. 또한, 모델이 본 적 없는 태스크를 추적하기 위해 비공개 테스트 세트(held-out set)도 유지하고 있습니다. 이 비공개 테스트 세트로 모델을 평가하려면 [email protected]로 연락하십시오.
저희의 목표는 포괄적인 것입니다. 방어자는 공격자가 침투할 수 있는 모든 방법을 예상해야 하며, 매번 정확하게 수행해야 합니다. 이 100개의 태스크는 광범위한 취약점 클래스에 걸쳐 91가지가 다른 CWEs를 다룹니다. 여기서 우수한 성능을 보이는 모델은 잠재적 공격자가 악용할 수 있는 여러 가지 취약점 표면(weakness surfaces)을 이해해야 합니다. 익숙한 패턴을 인식하는 것만으로는 충분하지 않습니다.
품질 개선을 위한 세심한 노력의 일환으로, 저희는 검토한 모든 태스크에 대해 다음 질문들이 참인지 확인했습니다:
- 지침이 평가 설정이 아닌 현실적인 지침처럼 읽히는가?
- 모든 등급 부여된 동작(graded behaviour)이 지침으로부터 추론될 수 있는가?
- 검증기가 특정 수정 구조가 아닌 정확한 동작을 확인하는가?
- 시작 코드가 실패하고 참조 수정본은 통과하는가?
- 원래 기능이 새로운 수정으로도 여전히 작동하는가?
- 검증기가 알려진 상위 패치와 같은 암기된 솔루션을 실패시키는가?
모든 태스크는 수동으로 검토되었습니다. 이 세트를 오픈 소스로 공개하는 것은 품질 개선 노력의 일부입니다. 모든 태스크에 대한 피드백과 공개 세트에 대한 기여를 환영합니다.
결과는 허브(Hub)의 두 곳에서 추적됩니다. CWE-bench 데이터셋 페이지에 있는 리더보드는 오픈 가중치 모델을 다루며 자체적으로 업데이트됩니다. 연구소와 커뮤니티는 모델 저장소(repo)에 결과 파일과 함께 PR(Pull Request)을 열어 결과를 추가합니다 (방법). Gemini, Claude, GPT와 같은 API 전용 모델을 포함한 전체 비교를 보려면 CWE-bench 리더보드 스페이스(Space)를 참조하십시오. 이곳에서는 Space의 PR을 통해 새로운 모델이 추가됩니다.
데이터셋 페이지에서 확인 가능한 오픈 가중치 모델:
[IMG:N]
평가된 모든 모델, API 전용 모델 포함:
[IMG:N]
평가된 11개 모델 중 Gemini 4 Argon이 pass@1에서 67.8%, pass@4에서 81.0%로 선두를 차지했으며, Claude Opus 5.5(pass@1 67.3%, pass@4 78.0%)보다 근소하게 앞섰습니다. 95개 태스크가 최소한 하나의 모델에 의해 해결되었으며, 이는 해당 태스크들이 실제로 해결 가능하다는 것을 나타냅니다. 하지만 선두 주자조차도 모든 시도에서 세트의 19%를 실패하므로, 롱테일(long tail) 문제는 아직 멀었습니다. 공개 세트(public set), 그레이더(grader), 그리고 하네스(harness)는 공개되어 있습니다. 사용자의 모델을 실행하여 현재 위치를 알려주십시오.
비용 측면에서는 DeepSeek V4.1 Flash (1017), Claude Opus 5.5, Gemini 4 Argon이 파레토 프론티어(Pareto frontier)를 형성합니다. DeepSeek은 $0.04의 롤아웃당 pass@1에서 57.0%에 도달하며, Opus는 $1.83에 10포인트를 추가하고, Gemini가 $3.92로 앞서 나갑니다.
모든 태스크는 자체 포함된 하버(Harbor) 태스크(도커화된 환경, 명령어, 결정론적 검증기)이며, 데이터셋은 registry.json을 제공합니다. 따라서 Harbor는 사용자가 아무것도 클론할 필요 없이 Hugging Face 리포지토리에서 전체 벤치마크를 실행할 수 있습니다:
harbor run --repo "https://huggingface.co/datasets/collinear-ai/cwe-bench" -d [email protected] -k 4 \
--agent <agent> --model <model> --env docker \
--allow-agent-host <model API host>
-k 4는 태스크당 4번의 시도를 실행하며, 보고된 점수는 총 400회의 트라이얼에 걸친 평균 보상입니다. 이 데이터셋은 게이티드(gated)되어 있으므로, 먼저 데이터셋 페이지에서 접근 조건을 수락해야 합니다. Harbor가 git을 통해 태스크를 가져오므로, HF 토큰도 한 번 git의 자격 증명 도우미(credential helper)에 저장하십시오:
hf auth login --token $HF_TOKEN --add-to-git-credential
이 태스크들은 또한 rl-environment로 태그 지정됩니다.
: 동일한 환경(environments)과 검증기(verifiers)를 사용하여 방어 에이전트(defensive agents) 훈련을 위한 보상(rewards)을 제공할 수 있으며, 단순히 평가하는 용도로만 사용되는 것이 아닙니다.
