Anthropic의 '위험한' AI와 코드 감사(Auditing)의 냉혹한 현실

Anthropic의 최신 모델인 Claude Mythos는 보안 취약점(Security vulnerabilities)을 찾아내는 능력이 공개적으로 출시하기에는 너무나 '위험할 정도로 뛰어나다'고 내부적으로 판단되었습니다. 하지만 실전에서 검증된 curl 코드베이스를 대상으로 테스트했을 때, 이 모델은 마케팅적 과장과 엔지니어링 현실 사이의 간극을 드러냈으며, AI 보안 도구를 사용하여 구축하는 모든 이들에게 중요한 교훈을 제공했습니다. 여기서 얻을 수 있는 결론은 이러한 모델들이 쓸모없다는 것이 아니라, 그 출력값은 여전히 엄격한 인간의 검증(Human verification)을 필요로 하는 하나의 신호(Signal)라는 점입니다.

Claude Mythos란 무엇인가
Anthropic은 내부 AI 모델인 Claude Mythos가 소프트웨어 취약점을 발견하고 악용하는 강력한 창발적 능력(Emergent capability)을 보여주었다고 발표했습니다. 보고에 따르면 이 능력은 매우 고도화되어 있어, 회사는 잠재적인 광범위한 출시 전에 조직들이 중요한 결함을 패치할 수 있도록 선택된 일부 조직에만 접근 권한을 제한적으로 제공했습니다. 이 모델은 주요 운영 체제(Operating systems)와 브라우저 전반에 걸쳐 수천 개의 고위험(High-severity) 취약점을 찾아낸 것으로 알려졌습니다. 이는 개발자들에게 즉각적인 질문을 던졌습니다. 우리는 완전히 자동화된 보안 감사(Security auditing)의 문턱에 와 있는 것일까요, 아니면 모델의 잠재력에 과도하게 가중치를 두는 또 다른 사례일까요?

curl 테스트 사례
그 답은 실제 테스트를 통해 나왔습니다. curl의 제작자인 Daniel Stenberg는 자신의 프로젝트에 포함된 176,000줄의 C 코드에 대한 Mythos의 분석에 간접적으로 접근할 수 있는 권한을 부여받았습니다. 모델은 5개의 '확인된 보안 취약점(Confirmed security vulnerabilities)'을 반환했습니다. 하지만 인간의 검토(Human review)를 거친 결과는 그만큼 극적이지 않았습니다. 5개의 발견 사항 중 4개는 거짓 양성(False positives)이었고, 단 하나만이 실제 존재하는 낮은 심각도(Low-severity)의 버그였습니다. curl과 같이 성숙하고 엄격하게 검토되는 프로젝트에서의 이러한 결과는 시사하는 바가 큽니다. 이는 AI가 방대한 코드베이스를 분석하고 대규모로 잠재적 문제를 식별할 수는 있지만, 신호 대 잡음비(Signal-to-noise ratio)가 매우 중요한 변수임을 암시합니다. AI가 '확인된' 취약점이라고 선언하는 것은 조사의 끝이 아니라 시작입니다.

AI 출력은 판결이 아니라 신호입니다
보안 파이프라인(Security pipelines)에 AI를 통합하는 엔지니어들에게 이것이 핵심적인 교훈입니다.

이 모델들은 강력한 패턴 매칭(Pattern-matching) 도구이지만, 숙련된 보안 연구원(Security researcher)이 가진 진정한 문맥(Context)과 세계 모델(World model)은 결여되어 있습니다. 이들은 관용적인 사용법(Idiomatic usage)이나 주변 로직이 해당 코드를 무해하게 만들더라도, 알려진 취약점 패턴과 유사해 보이면 코드를 플래그(Flag) 처리할 것입니다. Mythos와 같은 모델의 보고서는 완성된 CVE 목록이 아닙니다. 그것은 인간 전문가가 조사해야 할 우선순위가 지정된 영역 목록입니다. 여러분의 내부 도구와 워크플로우(Workflow)는 이를 반영해야 합니다. AI가 잠재적인 문제를 플래그 처리할 때, 프로세스는 이를 수정해야 할 사실(Fact)이 아니라 검증되어야 할 주장(Assertion)으로 취급해야 합니다.

유사한 도구에서 생성된 자동화된 보고서를 상상해 보십시오: { "vulnerability_id" : "AI-GEN-004-RCE" , "file_path" : "/src/app/utils/parser.c" , "line_number" : 242 , "severity" : "Critical" , "cwe" : "CWE-120: Buffer Copy without Checking Size of Input ('Classic Buffer Overflow')" , "confidence" : "High" , "description" : "parse_user_input 함수는 strcpy를 사용하여 사용자가 제공한 버퍼 input_buffer를 고정 크기의 로컬 변수 dest_buffer로 복사합니다. 이는 소스 버퍼가 대상 크기를 초과할 경우 잠재적인 버퍼 오버플로우(Buffer overflow) 취약점이 될 수 있습니다." , "recommendation" : "복사할 최대 바이트 수를 지정하여 버퍼 오버플로우를 방지하기 위해 strcpy를 strncpy 또는 snprintf로 교체하십시오." }

이것은 그럴듯해 보입니다. 하지만 상위 단계(Upstream)에서 input_buffer가 정화(Sanitized)되었는지 또는 길이 검사(Length-checked)가 이루어졌는지 인간이 확인하지 않는다면, 이 보고서만 보고 조치를 취하는 것은 시기상조입니다. 가치는 AI의 결론에 있는 것이 아니라, 한정된 인간의 주의력을 242번 라인으로 유도하는 능력에 있습니다.

개발자들에게 이것이 의미하는 바

Mythos-on-curl 에피소드는 필요한 재조정(Recalibration)입니다. AI가 보안 감사(Security auditing)를 변화시킬 것임은 의심의 여지가 없지만, 인간의 전문성에 대한 필요성을 없애지는 않을 것입니다. AI는 작업을 '건초더미에서 바늘 찾기'에서 '바늘과 핀 더미 분류하기'로 변모시킵니다. 개발자들에게 주어진 과제는 명확합니다. 신호 생성(Signal generation)을 위해 AI를 활용하는 시스템을 구축하되, 검증(Verification)을 위해서는 인간 전문가에게 의존하는 워크플로우를 설계하십시오.

AI의 보안 평가(Security Assessment)를 맹목적으로 신뢰하는 시스템을 출시하지 마십시오. 진짜 위험은 통제 불능의 AI 해커가 아니라, 자신의 판단력을 AI에 외주 주는 엔지니어링 팀입니다. 출처: Anthropic