이번 주, OpenAI는 보호 장치가 없는 가상의 능력 테스트 도중, 곧 출시될 GPT-5.6 Sol을 포함한 일련의 봇들이 자신들의 폐쇄된 네트워크를 해킹하여 Hugging Face의 프로덕션 인프라로 침입했다고 밝혔습니다. 불과 몇 달 전, Anthropic의 CEO인 Dario Amodei가 자사의 새로운 Mythos 모델이 사이버 전쟁 (cyberwarfare) 능력 (capabilities)을 갖추고 있다고 언급하며 뉴스의 중심에 섰을 때도 마찬가지였습니다. 이는 AI 분야와 정부 기관들 사이에서 강력한 반응을 불러일으켰으며, 특히 미국 산업안보국(U.S. Bureau of Industry and Security)은 해당 모델에 대해 수출 통제 명령 (export-control order)을 내렸고, 이후 이를 약간 완화했습니다.

Dario Amodei나 Sam Altman 같은 AI CEO들이 새로운 모델의 능력에 대해 떠드는 호언장담에도 불구하고, 프런티어 급 LLM (Large Language Models)이 이제 사이버 보안 분야의 강력한 주역임이 입증되었습니다.

코딩에 능숙한 LLM (Large Language Models)이 소스 코드 내의 보안 취약점(security vulnerabilities)을 찾아내는 데에도 똑같이 적합하다는 것은 사실입니다. 익스플로잇 (Exploits)은 거의 보편적으로 몇 가지 범주로 분류되며, LLM은 말 그대로 패턴 인식 (pattern recognition)을 위해 설계되었습니다. 그 정도가 얼마나 심한지, 현재 Zero Day Clock (ZDC) 프로젝트에 따르면 제로데이 익스플로잇 (zero-day exploit)의 '공격 전 대기 시간'이 마이너스 8시간으로 기록되고 있습니다. 이는 AI 봇을 사용하는 악의적인 행위자들이 실제 보안 연구원이나 벤더(vendor)들보다 취약점을 더 일찍 찾아내는 일이 이제 일상화되었음을 의미합니다.

이 점을 더욱 뒷받침하자면, 공개된 취약점의 81%가 제로데이이며, 그중 아주 적은 부분만이 공격을 받기 전 일주일의 시간이라도 벌 수 있습니다. 이 모든 수치는 공개된 보안 익스플로잇 (security exploits)만을 집계한 것입니다. 예상대로, 수많은 권고 사항 중 하나로, ZDC는 개발 프로세스의 모든 단계에서 선제적으로 AI를 사용할 것을 권장합니다. 대부분의 벤더 버그 바운티 (bug bounty) 프로그램에서 여전히 사용되고 있는 업계 표준인 90일 공개 기간은 사실상 사멸한 것으로 보이며, 이는 우리 모두에게 닥쳐올 중대한 함의를 남깁니다.

AISI report on frontier models

(이미지 출처: UK AISI)

지난 3월, 영국의 AI 보안 연구소 (AI Security Institute)는 보안 취약점 공격 (exploitation) 시나리오에서 현대 AI 모델들을 테스트한 논문을 발표했으며, 그 결과는 매우 엄중했습니다. 대부분의 봇들이 9개의 공격 마일스톤 (exploitation milestones) 중 4개를 통과했습니다. Claude Mythos 5와 GPT-5.6 Sol을 포함한 더 최근의 비교 연구에 따르면, 수많은 시도 중 적어도 한 번은 전체 네트워크 장악 (full network takeover)을 포함한 _모든 마일스톤_에 도달한 것으로 나타났습니다.

Aikido 또한 7월 16일에 최신 사이버 보안 벤치마크 (cybersecurity benchmark) 결과를 발표했습니다. 이번 테스트는 다양한 소프트웨어 세트 내에서 알려진 여러 취약점 (exploits)을 봇들이 회상(다시 찾아내기)하도록 하는 것이었습니다. 결과는 충격적이었으며, GPT-5.6 변체들이 88.5%의 회상률 (recall rate)로 선두를 달렸습니다. 아마도 여전히 가장 중요한 점은, 공격 1회당 비용이 믿기지 않을 정도로 저렴했다는 것입니다. GPT-5.6 Terra조차 전체 실행 1회당 약 750달러에 불과했습니다.

이 연구는 또한 성능이 낮고 더 저렴한 모델이라 할지라도, 충분히 많이 실행한다면 동일한 총 공격 횟수에 도달할 수 있다는 점을 밝혀냈습니다. 이러한 종합적인 결과를 고려할 때, 실행당 247달러인 GPT-5.6 Terra는 실행당 870달러인 GPT-5.6 Sol Max만큼이나 성능이 좋았습니다.

Aikido frontier model benchmark pricing

(이미지 출처: Aikido.dev)

Aikido는 Moonshot Kimi K3의 데뷔 이후 테스트를 다시 수행했으며, 그 결과는 경이로웠습니다. Kimi K3의 결과는 OpenAI의 GPT 5.6 Terra와 유사하면서도 비용은 15% 더 저렴했습니다. OpenAI의 선도 모델인 GPT-5.6-Sol과 비교하면 그 차이는 더욱 극명한데, 사이버 보안 취약점을 발견할 때 Kimi K3는 4배 더 저렴했습니다.

오픈 웨이트 (open-weight) 모델이 OpenAI나 Anthropic의 매우 값비싼 제품들과 대등하게 맞붙는다는 사실은 서구의 폐쇄형 소스 (closed-source) 기업들을 흔들어 놓고 있습니다. 서버를 임대하여 Kimi K3를 실행할 수 있는데, 왜 거대 AI 기업에 비싼 모델 비용을 지불해야 할까요?

Aikido Kimi K3 benchmarks

(이미지 출처: Aikido.dev)

나아가, Moonshot만이 프런티어 모델 (frontier models)을 개발하는 유일한 중국 AI 기업은 아닙니다. Z.ai의 GLM 5.2 (이 또한 오픈 웨이트 모델임)와 360 Security의 Tulongfeng도 보도에 따르면 보안 워크로드에 능숙한 것으로 알려져 있습니다.

그렇다면 기업들은 무엇을 해야 할까요? 아마도 불행하게도 그 답은 자체적인 AI 에이전트 (AI agents)를 배치하는 것입니다. Hugging Face에 따르면, 최근 OpenAI 봇들에 의한 침입은 자체적인 AI 에이전트 군단에 의해 저지되었습니다. 공격의 속도와 Hugging Face의 방어 체계가 대부분 다른 AI 에이전트들로 구성되어 있었다는 사실을 고려할 때, 인간이 이를 따라잡는 것은 불가능하다는 점이 빠르게 명확해지고 있습니다.

Google AI Threat Defense, MindGard, 그리고 HiddenLayer는 AI 사이버 방어 (AI cyberdefense) 분야에서 떠오르는 수많은 이름 중 극히 일부에 불과합니다. 영국의 AISI 외에도, European Systemic Risk Board와 Australian Cyber Security Center 모두 현재 상황에 대해 우려 섞인 권고안을 발표했습니다.

방어를 위해 AI를 사용하는 것은 또 다른 질문을 던집니다. 공격과 방어 양측 모두가 비결정론적 알고리즘 (non-deterministic algorithms)의 군집(swarms)이 된다면, 양측의 AI 모델들이 무엇을 하고 있는지조차 알 수 없는 지점이 올 것이며, 적어도 너무 늦기 전까지는 알 수 없을 것입니다. 이러한 시나리오는 원래 고전 SF 작가들이 구상했던 것이었으나, 이제는 좋든 싫든 사이버 보안 산업이 직면해야 할 현실이 되었습니다.