Anthropic November Ledger Update
주요 시사점:
- Project Glasswing이 시작된 지 7개월 동안, VulnCheck는 Anthropic과 관련된 442개의 CVE(Common Vulnerabilities and Exposures)를 추적했으며, 이는 올해 발표된 모든 CVE의 약 0.5%에 해당합니다. 이 중 야생에서 악용된 것으로 확인된 것은 단 두 건뿐입니다. Anthropic이 보고한 37,966건의 발견 사항 중 공개된 것은 7,349건(19.4%)에 불과하며, 수정 완료로 표시된 것은 겨우 217건입니다.
- 지난 9월 이후, Anthropic은 약 12,000건의 새로운 발견 사항을 추가했지만, 추가 수정 건수는 단 15건에 그쳐 발견과 해결 간의 격차를 벌리고 있습니다.
- 약 1,654건의 발견 사항(4.4%)이 중복으로 표시되었으며, 이는 수정된 건수의 거의 8배에 달하고, 또 다른 419건은 철회되었습니다.
- Anthropic이 주장하는 참 양성률(true positive rate)은 90.8%에서 94.2%로 상승했지만, 중복 및 철회된 발견 사항을 어떻게 계산했는지 의문을 제기합니다.
- Anthropic의 OSS Scanner는 검증 작업을 유지보수자들에게 넘기고 있으며, curl은 발표된 34개 보고서 중 19개를 취약점으로 거부했고, 그중 6개를 낮은 심각도로 확인했으며, 9개는 평가를 기다리고 있습니다. 이는 또한 Anthropic의 참 양성률에도 의문을 제기합니다.
Anthropic의 주요 프로젝트인 Project Glasswing이 시작된 지 7개월이 되었으며, 그 결과에 대한 또 다른 업데이트가 필요할 때입니다. 저는 이 프로젝트가 주장하는 내용들이 과대 포장된 것인지 아니면 현실에 기반한 것인지 확인하기 위해 이를 추적해 왔습니다.
모두가 기억하듯이, Anthropic은 4월 7일에 Project Glasswing을 시작하며 “우리는 오픈 소스 유지보수자들에게 책임감 있게 공개할 수 있는 수천 개의 추가적인 고위험 및 심각도 취약점을 식별했습니다”라고 주장했습니다. 저를 놀라게 한 것은 이 프로젝트가 제공한 증거가 매우 적었다는 점이었고, 이것이 과대 포장된 마케팅 캠페인에 가까운 것이 아닌지 의문을 갖게 했습니다.
그렇다고 해서 AI가 취약점을 찾는 효과적인 도구라는 사실을 간과해서는 안 됩니다. 하지만 그 이야기는 단일한 프론티어 모델(frontier model)의 역량을 훨씬 뛰어넘습니다.
만약 따라잡는 중이라면, 이 글은 제가 앞서 작성했던 게시글들을 기반으로 합니다:
• Anthropic 연구원 및 Project Glasswing 관련 CVE 추적 - 4월 15일
• Anthropic의 취약점 공개 원장(Vulnerability Disclosure Ledger) 관찰 기록 - 6월 9일
• 2026년 상반기 악용 현황 보고서 (State of Exploitation Report) - 7월 28일
• Anthropic Glasswing 관련 자료가 점차적으로 나오기 시작하다 - 9월 8일
자, 이제 결과를 살펴보겠습니다...
저는 출시 직후인 4월 17일부터 오픈 소스 저장소인 'Anthropic Credited CVEs'에서 Anthropic이 발견한 취약점들을 추적하기 시작했습니다. 목표는 Anthropic의 주장이 과대광고에 걸맞은지 확인하는 것이었습니다. 이 시기는 Anthropic이 자체 공개 원장을 출시하기 전이었으며, 해당 원장은 간헐적인 대량 배치(bulk batches)로만 업데이트됩니다.
anthropic credited cves
제 저장소는 CVE 기록, GHSAs, 리눅스 커널 커밋, 그리고 Anthropic 자체의 원장을 사용하여 Anthropic에 귀속되는 모든 취약점을 추적합니다. 또한, 제가 직접 권고 사항(advisories)을 감사하여 간과될 수 있는 CVE를 포착하기도 합니다.
7개월 동안 저는 Anthropic에 귀속되는 442개의 CVE를 추적했습니다. 이는 월평균 단지 63개에 불과합니다. 올해 발표된 93,450개의 CVE 중 볼 때, 전체 CVE의 약 0.5%에 지나지 않습니다.
비교하자면, Anthropic 자체 공개 원장에는 고작 217개의 수정된 취약점만 나열되어 있어, 제가 추적한 건수보다 두 배 이상 많은 수치입니다.
Anthropic exploited vulnerabilties
여러분은 Glasswing이 우리가 취약점 발견의 신화 시대(Mythos era)에 진입했다는 메시지와 함께 출시되었던 것을 기억하실 겁니다. 하지만 이러한 취약점들이 실제로 공격자들에게 유용한 것일까요? 알아보기 위해, 저는 Anthropic이 발견한 CVE들을 VulnCheck KEV와 대조하여 추적해 왔습니다. 현재까지 442개 중 야생에서 악용된 것은 단 2개에 불과하며, 이는 0.45%입니다. (CVE-2026-61500 및 CVE-2026-26980)
Anthropic이 지난 5월 원장을 처음 출시했을 때, 그들은 23,019개의 발견 건수와 90.8%의 참 양성률(true positive rate)을 보고했습니다. 가장 최근 업데이트된 11월 2일 기준으로, 총 발견 건수는 37,966개에 달하지만 수정된 것은 단지 217개입니다. 이는 저에게는 엄청난 실패로 보이지만, 좀 더 자세히 살펴보겠습니다.
Anthropic November Ledger Update
Anthropic이 보고한 37,966건의 발견 건수 중 실제로 대중에게 공개된 것은 7,349건(19.4%)에 불과합니다. 이 중 수정 완료로 표시된 항목은 단 217건입니다. 더욱 눈에 띄는 수치는 프로젝트 발견 건수의 4.4%(1,654건)가 이미 중복 항목으로 표시되었다는 것인데, 이는 수정된 항목보다 7.5배나 많은 중복 항목 수치입니다. 게다가 419건의 발견 건수가 철회되었습니다. 전반적으로 더 많은 발견 건수가 수정되거나 중복 항목으로 표시되었음에도 불구하고, 장부가 출시 당시의 90.8%에서 94.2%로 참 양성률(True Positive rate)을 주장하는 것은 이상해 보입니다. 이는 '참 양성'으로 기재된 목록에 누락된 피드백 루프가 있음을 시사합니다.
지난 9월 업데이트 이후의 추세는 더욱 주목할 만합니다:
| 9월 8일 | 11월 2일 | 변화량 |
|---|
| 총 발견 건수 | 26,153 | 37,966 |
| ... | | |
| 두 달 동안 Anthropic은 거의 12,000건의 발견 건수를 추가했지만 수정된 항목은 단 15개에 그쳤습니다. 중복 항목은 2개에서 수천 개로 늘어났는데, 이는 제가 지난 9월에 경고했던 것과 정확히 일치합니다. 즉, 발견 건수가 오래 머물수록 다른 누군가가 먼저 찾아내 수정할 가능성이 높아진다는 것입니다. 저는 이 숫자를 보고 어떤 사람도 이를 부정적으로 해석하기 어렵다고 생각합니다. | | |
또한 제 시각 자료에서 수정을 확인하실 수도 있습니다. Anthropic의 장부에 공개로 표시된 발견 건수 수를 부풀리는 버그가 있는 것으로 보입니다. '공개(disclosed)' 필터를 사용하여 직접 확인해 보십시오.
인력이 모든 발견 건수를 분류하는 것이 명확하게 확장되지 않았다는 점은 분명하며, Anthropic 역시 그렇게 언급했습니다. 10월 8일의 OSS Scanner 출시 게시물에서 Anthropic은 29,000건 이상의 잠재적 취약점을 발견했지만 수동으로 검토한 것은 약 6,000건에 불과했으며, 여전히 '이러한 발견 건수를 검증하는 인간 역량'이라는 병목 현상(bottleneck)에 남아있다고 밝혔습니다. 또한 이들은 요청에 따라 모든 것을 일괄적으로 처리해 달라고 요구한 유지 관리자들에게 거의 5,000건의 미검증 보고서를 이미 전송했습니다.
Glasswing 오픈 소스 이니셔티브가 난관에 부딪히자, 프로젝트들이 선택적으로 이용할 수 있는 자체 서비스형 OSS 스캐너를 출시하는 것은 합리적이다. 유지 관리자들은 이제 직접 스캔을 요청하고 발견된 사항들을 분류(triage)할 수 있게 되었다. Anthropic은 이러한 보고서가 "인간의 검토나 분류 과정 없이 완전히 모델이 생성한 것"이며, "보고서가 부정확하거나 유효하지 않을 수 있음"을 명확히 밝히고 있다.
다시 말해, 분류(triage) 병목 현상은 사라지지 않았다. 단지 유지 관리자들에게로 이동했을 뿐이다. 만약 참 양성률(True Positive Rate)이 Anthropic이 주장하는 것처럼 정말 높다면, 그것은 문제가 되어서는 안 된다.
사흘 전, curl을 유지 관리하는 Daniel Stenberg은 해당 프로젝트가 Anthropic으로부터 45개의 취약점 보고서(vulnerability reports)를 받았다고 발표했다. Anthropic은 그중 단 하나만을 중간 심각도(medium severity)로 평가했고 나머지는 낮은 심각도로 분류했다. 다니엘은 "팀에 미치는 영향을 완화하기 위해" 의도적으로 속도를 조절하며 이들을 GitHub로 옮기고 있으며, 이번 주 말까지 모두 공개할 계획이다. 이는 유지 관리자가 실제로 검증한 Anthropic의 발견 사항이 어떤 모습인지 보기 힘든 기회를 제공한다.
지금까지 공개된 34개의 보고서 중 19개는 취약점이 아닌 것으로 표시되었고, 6개는 낮은 심각도로 확인되었으며, 9개는 아직 평가를 기다리고 있다. 이는 현재까지의 오탐률(False Positive Rate)을 55.9%로 만들며, 발견된 사항 중 실제로 확인된 것은 단지 17.6%에 불과하고, 이들 모두 낮은 심각도이다. 이것은 소수의 영향력이 낮은 버그를 처리하기 위해 오픈 소스 유지 관리자들에게 엄청난 양의 작업을 떠넘기는 것이며, 유지 관리자가 팀을 보호하기 위해서만 보고서 속도를 조절해야 한다는 사실 자체가 그 부담에 대해 많은 것을 말해준다.
Curl Vulnerabilities
이는 curl에게도 새로운 일이 아니다. 지난 5월에 다니엘은 다섯 개의 Mythos 발견 사항이 단 하나의 확인된 취약점으로 귀결되었다고 작성한 바 있다.
이는 Anthropic이 현재 레저에서 주장하는 94.2%의 참 양성률(true positive rate)과는 거리가 멉니다. 또한 Glasswing이 시작했을 때 제시했던 "높음 및 치명적 심각도(high- and critical-severity)"라는 틀을 약화시킵니다. 저는 지난 9월에 Claude가 레저 발견 사항의 91.5%를 치명적이거나 높은 것으로 평가한 반면, 유지 관리자들은 단지 51.3%만을 그렇게 평가했다는 것을 발견했습니다. 다른 오픈 소스 프로젝트들도 같은 현상을 목격하고 있는지 궁금합니다.
curl은 완전한 투명성을 위해 낮은 심각도 및 중간 심각도의 취약점 발견 사항을 이슈로 공개하기로 결정하는 과감한 움직임을 보였으며, 저희는 다른 오픈 소스 유지 관리자들도 그 흐름을 따르기를 권장합니다.
AI는 취약점을 찾는 데 가치 있는 도구이며, 저는 그것을 과소평가하지 않습니다. 하지만 7개월이 지난 지금도 증거는 여전히 출시 당시의 서사와 일치하지 않습니다. CVE(Common Vulnerabilities and Exposures)들은 올해 전체 중 극히 일부에 불과하며, 거의 아무것도 악용되지 않고 있고, 수정 작업은 지연되는 반면 중복 및 철회된 항목들이 쌓이고 있으며, 분류(triage) 부담은 Glasswing이 돕겠다고 약속했던 오픈 소스 유지 관리자들에게 전가되고 있습니다. 증거들은 계속해서 들어오고 있지만, 여전히 일치하지 않습니다.
VulnCheck는 조직이 취약점 우선순위 지정(vulnerability prioritization) 문제를 해결하는 것을 돕는 것뿐만 아니라, Product Manager, CSIRT/PSIRT 또는 SecOps 팀 및 위협 헌팅(Threat Hunting) 팀 등 모든 팀이 VulnCheck 솔루션을 사용하여 무한대의 효율성으로 더 빠르고 정확하게 작업할 수 있도록 지원하는 데 주력하고 있습니다.
저희는 우리 업계에 전반적으로 더 좋고 빠른 데이터가 필요하다는 것을 알고 있었습니다. 그래서 그것을 시장에 제공하는 것입니다. 저희는 취약점 관리(vulnerability management), 악용(exploitation) 및 저희의 데이터셋에서 추론할 수 있는 주요 트렌드에 대한 핵심 통찰력을 지속적으로 전달하여 실무자들을 지원해 나갈 것입니다.
더 많은 것을 알고 싶으신가요? 그렇다면 VulnCheck의 Exploit & Vulnerability Intelligence는 광범위한 위협 행위자(threat actor) 커버리지를 자랑합니다. 지금 등록하고 저희 데이터를 데모해보세요.
