지난주, OpenAI는 격리된 샌드박스(sandbox) 내의 익스플로잇(exploit) 벤치마크에서 두 모델을 평가했습니다. 테스트를 위해 가드레일(Guardrails)을 완화하자, 모델들은 환경 내의 취약점을 발견하고 인터넷에 접속하여 Hugging Face의 프로덕션 데이터베이스에 도달했습니다.

어떠한 인간의 지시도 없었으나, 이번 침해 사례는 강력한 AI 모델을 갖춘 악의적인 공격자가 얼마나 더 유능해질 수 있는지를 보여주는 명확한 예시입니다. 하지만 방어자들에게도 동일한 도구와 명확한 이점이 있습니다. 바로 자신들의 코드베이스(codebase)에 대한 지식입니다. 해킹은 외부에서 시작되므로, 가장 최선의 방어책은 공격자가 발견하기 전에 내부에서 취약점을 찾아내는 것입니다.

오늘 우리는 애플리케이션 코드에서 다양한 모델이 사이버 보안 취약점을 얼마나 잘 찾아내는지 평가하는 벤치마크인 DeepsecBench를 출시합니다. 각 모델에 대한 보고서에는 재현율(recall), 정밀도(precision), 비용(cost), 그리고 총 소요 시간(total time)이 포함되며, 재현율과 정밀도를 하나의 벤치마크 점수로 결합합니다. 다음은 리더보드(leaderboard)의 모델 성능 샘플입니다: DeepsecBench

우리는 스캐닝을 최대한 쉽게 만들기 위해 DeepsecBench를 구축했습니다. 이제 여러분은 벤치마크 보고서를 사용하여 예산과 코드베이스의 복잡성에 맞는 보안 스캐닝 프로그램을 구축할 수 있으며, 실행할 모델의 적절한 조합과 실행 빈도를 선택할 수 있습니다. deepsec

DeepsecBench는 수많은 취약점이 수정되기 직전의 커밋(commit) 상태인 오픈 소스 코드베이스에서 실행됩니다. 우리는 50개의 엔트리 포인트(entry-point) 파일을 선택하고, 인간이 판단한 231개의 발견 사항으로 구성된 골든 세트(golden set)를 구축했습니다. 각 모델의 점수는 재현율 가중 F2 점수(Score = 100 × 5PR/(4P+R))이며, 이는 정밀도(P)보다 재현율(R)에 두 배의 가중치를 둡니다. 왜냐하면 놓친 취약점은 수정되지 않은 채 남게 되지만, 오탐(false positives)은 코드베이스의 보안을 약화시키지는 않기 때문입니다.

골든 세트를 벗어난 발견 사항은 판별 모델(judge model)에 의해 실제(real) 또는 허위(false)로 분류되며, 이는 정밀도 측정 시 모델의 점수에 가산되거나 감산됩니다(재현율은 오직 알려진 231개의 발견 사항만을 측정합니다).

이 벤치마크는 세 번 실행되며, 보고서에 게시된 데이터는 세 번의 실행 결과에 대한 중앙값(median)입니다.

벤치마크의 구성 방식은 비밀로 유지됩니다. 저희는 리포지토리(repository), 커밋(commit), 파일 또는 발견 사항을 공개하지 않으므로, 모델이 이에 맞춰 학습할 수 있는 데이터가 없습니다. 암기된 수정 사항을 암송하는 모델은 거의 완벽한 재현율(recall)을 기록할 것입니다. 대신, 가장 좋은 결과는 30.7%를 찾아냈으며, 25번의 실행 중 20번은 20% 미만의 성적을 기록했습니다.

저희가 [실행했을 때], 프로덕션 코드베이스(production codebases)에 대한 철저한 스캐닝에는 가장 유능한 모델들이 필요했으며, 이들은 실행 비용이 많이 들었습니다. OpenAI와 Anthropic의 프런티어 모델(Frontier models)들이 여전히 가장 높은 점수를 기록하고 있지만, 오픈 웨이트(open-weight) 모델과 더 효율적인 추론(reasoning) 옵션들이 그 격차를 좁히고 있어, 포괄적인 스캐닝을 훨씬 더 비용 효율적으로 만들고 있습니다. deepsec 도입

오늘날, 더 높은 가격이 비례해서 더 높은 성능을 보장하지는 않습니다. Moonshot AI의 Kimi K3는 높은 설정(high setting)에서 12.38달러로 17.56점을 기록하며 8위를 차지했는데, 이는 최고 점수의 절반 수준이면서 비용은 약 5분의 1에 불과합니다. Grok 4.5를 높은 설정으로 설정하면 절반도 안 되는 비용인 5.60달러로 15.58점을 기록하며 Kimi에 근접한 성능을 보여줍니다. GPT-5.6 Sol을 중간 설정(medium)으로 설정하면 17.95달러의 비용으로 25.10점을 기록하며, 최고 성능 모델들 중 가장 좋은 점수 대비 비용 균형을 제공하며 5위를 차지합니다.

Anthropic의 가장 유능한 모델인 Fable 5는 방어적 작업(defensive tasks)을 포함한 보안 관련 작업을 거부하기 때문에 제외되었습니다. 보안 기능이 활성화된 버전이 출시되면 벤치마크에 추가할 예정입니다.

벤치마크에 보고된 비용은 50개의 파일을 기준으로 합니다. 실제 프로덕션 코드베이스는 이보다 약 100배 더 클 수 있으며, 이 경우 Kimi K3로 전체를 훑는 데 약 1,200달러, OpenAI의 최고 점수 프런티어 모델을 사용하는 데는 5,000달러 이상이 소요됩니다.

보안 스캐닝은 반복적인 작업이기 때문에, 어떤 작업을 위해 어떤 모델을 언제 사용할 것인가가 핵심입니다. 예를 들어, 프런티어 모델 (Frontier models)은 주기적인 심층 감사 (Deep audits)에 사용할 수 있는 반면, Kimi K3나 Grok 4.5와 같은 더 저렴한 모델은 더 높은 빈도로 스캔을 수행할 수 있습니다. GPT-5.6 Sol의 추론 (Reasoning) 수준을 '매우 높음 (xhigh)'에서 '중간 (medium)'으로 낮추면, 3시간 39분 동안 35.58점을 기록하던 성능이 단 30분 남짓한 시간에 25.10점을 기록하는 수준으로 변하며, 이는 새로운 기능이 프로덕션 (Production)에 배포되기 전에 검토하기에 충분히 빠른 속도입니다.

스타트업은 Grok 4.5를 사용하여 모든 머지 (Merge)마다 스캔을 수행하고, 더 비용이 많이 드는 감사는 마일스톤 릴리스 (Milestone releases)를 위해 남겨둘 수 있습니다. 대기업은 핵심 서비스에 대해 프런티어 감사를 수행하고, 주요 풀 리퀘스트 (Pull requests)에는 동일한 모델을 낮은 추론 수준으로 적용하며, 나머지 코드베이스 전체에 대해서는 Kimi급 또는 Grok급의 지속적인 스윕 (Sweep)을 실행할 수 있습니다.

보안 스캔은 짧은 시간 안에 방대한 양의 토큰을 소비하는 급증하는 워크로드 (Spiky workloads)이며, 이러한 버스트 용량 (Burst capacity)을 단일 제공업체로부터 직접 구매하기는 어렵습니다. 모든 DeepsecBench 실행은 AI Gateway를 거칩니다. 게이트웨이는 각 모델에 도달할 수 있는 단일 엔드포인트 (Endpoint)를 제공합니다. 실행 중 라우팅 (Routing), 재시도 (Retries), 페일오버 (Failover)가 자동으로 발생하며, 관리해야 할 제공업체별 키나 속도 제한 (Rate limits)이 없습니다.

벤치마크에 사용하는 것과 동일한 라우팅을 귀하의 보안 스캐닝 프로그램에 사용할 수 있습니다. provider/model을 deepsec에 전달하면, 환경 내의 AI_GATEWAY_API_KEY 하나로 테이블에 있는 모든 모델을 커버할 수 있습니다 (또는 연결된 Vercel 프로젝트의 경우, OIDC를 통해 AI Gateway에 액세스하십시오).

공격자들도 AI 모델을 사용할 수 있지만, 그들은 외부에서 행동합니다. 방어자는 소스 코드, 아키텍처 (Architecture), 히스토리 (History) 등 시스템 전체를 볼 수 있습니다. 이러한 가시성 덕분에 동일한 모델이라도 공격자의 손에 있을 때보다 귀하의 손에 있을 때 더 강력합니다. 소스 코드를 읽을 수 있는 모델은 공격자가 탐색(Probe)만 할 수 있는 것을 찾아낼 수 있기 때문입니다. 이 이점은 실질적이지만, 귀하가 먼저 사용해야만 의미가 있습니다.

새로운 모델이 출시되고 측정됨에 따라 지속적으로 업데이트하겠습니다. DeepsecBench

더 자세한 내용은 DeepsecBench에서 확인하실 수 있습니다.

GPT-5.5
medium
12.63
10.4%
92.3%
24/231
$14.94
00:24:05

GPT-5.6 Terra
medium
12.12
10.0%
92.0%
23/231
$5.15
00:13:15

GPT-5.6 Luna
medium
12.08
10.0%
82.8%
23/231
$5.23
00:11:59

Gemini 3.6 Flash
medium
11.56
9.5%
80.0%
22/231
$10.74
00:26:21

Kimi K3
medium
11.48
9.5%
64.1%
22/231
$10.84
01:29:00

GLM-5.2
medium
10.46
8.7%
62.5%
20/231
$11.09
01:03:00

GLM-5.2
high
9.90
8.2%
53.8%
19/231
$51.84
02:30:00

Gemini 3.6 Flash
high
8.99
7.4%
77.3%
17/231
$5.33
00:22:18

Claude Opus 4.8
max
6.91
5.6%
81.3%
13/231
$7.56
00:19:29

Claude Opus 4.8
medium
6.88
5.6%
61.9%
13/231
$10.81
00:18:16

Inkling
high
6.32
5.2%
48.0%
12/231
$1.93
00:11:34

Inkling
medium
5.26
4.3%
37.0%
10/231
$2.18
00:10:31

Claude Haiku 4.5
default
4.73
3.9%
33.3%
9/231
$5.91
00:29:40

Gemini 3.5 Flash Lite
medium
2.14
1.7%
44.4%
4/231
$0.58
00:01:46

Gemini 3.5 Flash Lite
high
1.07
0.9%
28.6%
2/231
$0.18
00:01:07

벤치마크 작동 방식 (How the benchmark works)

뛰어난 분석의 비용 하락세 (The cost of capable analysis is falling)

여러 모델에 걸친 스캐닝 프로그램 구축

하나의 엔드포인트에서 벤치마크 실행

취약점을 먼저 찾아내기