사이버 보안 (Cybersecurity) 경영진들은 이제 악명 높은 Hugging Face 인공지능 (AI) 해킹 사건을 마무리하고 해결책을 논의할 준비가 되었습니다.

에이전트 보안 (agentic security) 스타트업인 7AI의 CEO이자 공동 창립자인 Lior Div는 "과도한 기대(hype)를 조금 가라앉힐 필요가 있습니다"라고 말했습니다. "AI가 취약점을 빠르게 찾아낼 수 있을까요? 답은 '예'입니다. 우리는 이미 그것을 증명했습니다."

지난달, OpenAI 사이버 모델로 작동하는 AI 에이전트 (AI agents)들이 훈련 환경을 벗어나, 개발자들이 도구를 협업, 테스트 및 공유하는 데 사용하는 오픈 소스 AI 플랫폼인 Hugging Face를 해킹했습니다.

이번 침해 사고는 기술 업계에 충격을 주었으며, Anthropic의 Mythos 데뷔 이후 사이버 보안 전문가들이 경고해 온 순간이 마침내 도래했음을 알렸습니다.

지난 4개월 동안 사이버 보안 업체들은 해커들이 에이전트 AI (agentic AI)를 활용해 취약점을 노출시키고 공격 시간을 몇 초 또는 몇 분 단위로 단축함에 따라, 공격자보다 앞설 수 있는 보안 스택 (security stacks)을 제공해야 한다는 점점 더 커지는 압박에 직면해 있습니다.

Hugging Face 해킹은 AI 책임성에 대한 광범위한 논쟁을 불러일으켰지만, 방어자 측면에서의 AI 한계에 대한 기존 관념에도 도전했습니다. 예를 들어, AI 에이전트들은 목표를 달성하기 위해 스스로 판단하여 극단적인 수단까지 동원했습니다.

업계가 새로운 에이전트 사이버 현실 (agentic cyber reality)과 씨름하고 있는 가운데, 리더들은 Hugging Face 사건이 주목받을 가치가 있다는 점에는 동의하지만, 이러한 사건들은 피할 수 없으며 이제 행동해야 할 때라고 말합니다.

CrowdStrike의 사장인 Mike Sentonas는 "우리가 논의하고 있는 것은 우리가 그 능력을 통제하고 보호할 수 있는지 여부이며, 그것이 바로 오늘날 모든 이들이 깨닫고 있는 현실입니다"라고 말했습니다.

AI agents going rogue 'not surprising', says Silverado Policy's Alperovitch

이번 주 열린 연례 Black Hat 사이버 보안 컨퍼런스에서, OpenAI는 에이전트들이 Hugging Face 공격이 발생하기 몇 주 전부터 취약점과 익스플로잇 (exploits)을 공유하기 위해 내부 메시지 보드를 만들었다는 사실을 공개했습니다.

그 후 자율 에이전트 (autonomous agents)들은 인터넷에 접속하여 평가를 완료하기 위한 공격 작업을 위임했습니다. OpenAI가 계획된 공격을 발견하고 중단시킨 후에도, 에이전트들은 자신들의 작업 내용을 재현하여 성공할 수 있었습니다.

이러한 발견은 AI의 커지는 힘뿐만 아니라, 이 새로운 기술 혁명 속에서 안전 테스트 (safety testing)가 직면한 주요 과제들을 강조합니다.

Black Hat의 라이브 청중 앞에서, OpenAI의 기술 연구원인 Michael Dalton은 이를 프런티어 모델 (frontier models)을 평가하는 과정에서 발생하는 "의도치 않은 부작용 (unintended side effect)"이자, OpenAI와 업계 모두에게 "분수령이 되는 순간 (watershed moment)"이라고 불렀습니다.

그는 "가까운 미래에, 위협 행위자 (threat actors)들이 우리가 방금 여기서 설명한 방식대로 공격적인 에이전트 집단 (offensive agent collectives)을 의도적으로 배치, 최적화, 무기화 및 사용할 것을 예상해야 합니다"라고 말했습니다.

AI 에이전트 해킹 목록은 Hugging Face 사건 이후 계속 늘어나고 있습니다. OpenAI의 공개 이후 며칠 만에, Anthropic은 자사의 Claude 모델이 세 곳의 서로 다른 조직의 내부 시스템에 "무단 접근 (gained unauthorized access)"했다고 밝혔습니다.

사이버 커뮤니티가 "세계 엔터테인먼트의 수도"에 모인 가운데, Meta는 자사의 AI 모델이 제3자 테스트에서 다른 회사를 해킹했다고 밝혔으며, 영국의 AI 보안 연구소 (AI Security Institute)는 Anthropic의 Mythos가 또 다른 사건에서 가짜 신원을 생성했다고 밝혔습니다. 금요일에는 중국 스타트업 Moonshot AI의 오픈 웨이트 (open-weight) 모델이 테스트 샌드박스 (testing sandbox)를 탈출했다는 소식이 전해졌습니다.

최근 CNBC의 Disruptor 50 리스트에서 28위를 차지한 Dallas 기반 기업 Island의 CEO이자 공동 창립자인 Mike Fey는 "그들은 모두 현재 혹독한 교훈을 얻고 있습니다. 솔직히 말해서, 그들은 사이버 보안보다는 제품의 다음 백만 명의 사용자에게 훨씬 더 신경을 쓰고 있습니다"라고 말했습니다.

이번 주 Black Hat에서 CNBC와 대화한 사이버 보안 리더들은 한 가지 점을 분명히 했습니다. Hugging Face와 같은 사고는 모든 새로운 기술 혁명의 알려진 결과이며, 전혀 놀라운 일이 아니라는 점입니다.

"Hugging Face 사건은 매우 흥미롭고 독특했지만, 그러한 사고의 궤적을 살펴보면 며칠에 걸쳐 발생하며 많은 노이즈가 동반된다고 생각합니다"라고 Google 소유의 Wiz에서 최고 정보 보안 책임자(CISO) 및 최고 정보 책임자(CIO)를 맡고 있는 Ryan Kazanciyan은 말했습니다.

50여 년 전 사이버 보안(Cybersecurity)이 도입된 이래로, 방어자들은 적대 세력과 끊임없는 쫓고 쫓기는 게임을 벌여왔습니다. 다만 이번에는 자율 에이전트(Autonomous agents) 떼가 개입되어 있다는 점이 다릅니다.

기업이 어떤 도구를 도입하든 사고는 빈틈을 타고 스며들기 마련이며, 특히 기업들이 AI 에이전트(AI agents)라는 완전히 새로운 과제에 새로운 기술들을 적용함에 따라 더욱 그러합니다.

Netskope의 CEO인 Sanjay Beri는 "귀사의 회사가 취약하다고 가정하십시오"라고 말했습니다. "그냥 그렇게 가정하십시오. 왜냐하면 이 치열한 경쟁(Rat race)에서 승리할 수는 없을 것이기 때문입니다."

Netskope는 기업이 인프라, 서버, 데이터 및 AI 에이전트를 한곳에서 모니터링할 수 있게 해주는 'AI 커맨드 센터(AI command center)'라고 불리는 도구로 이 문제를 해결하고 있습니다. 그는 기업들이 프런티어 모델(Frontier models)과 오픈 웨이트 모델(Open-weight models)의 조합을 사용한 지속적인 취약점 테스트를 통해 이를 보완해야 한다고 말했습니다.

이 회사는 광활한 Mandalay Bay 컨벤션 센터에 모인 수백 개의 벤더 중 하나였으며, 카페인 음료, 브랜드 굿즈(Swag), 그리고 향수를 불러일으키는 서프숍, 과학 실험실, 심지어 올드스쿨 식당을 닮은 화려한 부스들로 잠재 고객을 유인하려 노력하고 있었습니다.

이 행사에서 전시를 선보인 스타트업 중에는 글로벌 은행 및 Fortune 200 기업들과 협력하고 있는 뉴욕 및 텔아비브 기반의 스타트업 Vega가 있었습니다.

설립 2년 차인 이 회사는 더 빠르고 저렴한 탐지 도구를 통해 거대한 사이버 보안 난제를 해결하기 위해 경쟁하고 있습니다. Vega는 자사의 접근 방식이 기존 환경의 데이터를 분석함으로써 기업의 비용 절감을 돕는다고 밝혔습니다.

Cyber spend will benefit from AI anxiety over the next couple quarters, says Jefferies' Joseph Gallo

공동 창업자이자 CEO인 Shay Sandler는 한 가지 주요 문제로, 기업들이 에이전트형 AI(Agentic AI) 위협을 인지하고는 있지만, 새로운 도구를 채택하는 것과 기존의 습관에 의존하는 것 사이에 괴리가 존재한다는 점을 꼽았습니다.

그는 현재 고객 및 잠재 고객들과 진행한 Black Hat 미팅을 회상하며,

"5년 후에는 우리가 경험했던 그 어떤 때보다 더 안전한 상황에 놓일 것이라고 생각합니다." AI 보안 스타트업 Surf AI의 CEO 겸 공동 창립자인 Yair Grindlinger가 말했습니다. 하지만 "우리는 그것을 어떻게 할지 알아내기 위해 거쳐야 할 험난한 5년이 남아 있습니다."

SentinelOne CEO on preventing AI agents from going rogue: We need to change the design of compute