Anthropic disclosed 'unauthorized' cybersecurity incident

수개월 동안 사이버 보안 리더들은 인공지능 (AI)이 위협 지형을 재편하여, 몇 주 또는 며칠씩 걸리던 사이버 공격을 단 몇 분 만으로 압축할 것이라고 경고해 왔습니다.

지난주까지도 이러한 위협은 여전히 먼 미래의 위험처럼 느껴졌습니다.

Hugging Face에서 발생한 OpenAI 에이전트 해킹은 이 시대가 이미 도래했을 뿐만 아니라 새로운 과제를 만들어냈음을 보여줍니다. 즉, AI 에이전트들이 목표를 달성하기 위해 극단적인 수단을 동원할 것이며, 예측 불가능한 방식으로 행동할 것이라는 점입니다.

Zscaler의 최고 정보 보안 책임자 (CISO)인 Sam Curry는 "현실은 판도라의 상자가 열렸다는 것입니다"라고 말했습니다. "우리는 앞으로 AI가 삶의 당연한 사실인 것처럼 행동해야 합니다. 우리가 할 수 있는 최선은 그것을 늦추는 것뿐이며, 멈추지는 못할 것입니다."

약 4개월 전 Anthropic의 강력한 Mythos 모델이 출시되면서, 해커들이 이러한 모델을 사용하여 취약점을 악용할 수 있다는 우려가 제기되었습니다. 주요 기술 기업들은 이에 대비하기 위해 이 고급 AI를 테스트하기 시작하는 연합을 구성했습니다.

당시 Palo Alto Networks의 제품 및 기술 책임자인 Lee Klarich는 AI 기반 공격이 곧 새로운 표준이 될 것이며, 기업들에게는 적들보다 앞서 나갈 수 있는 3~5개월의 시간적 여유가 있다고 경고했습니다.

Hugging Face 사건은 사이버 산업에 있어 이보다 더 적절한 시기에 발생할 수 없을 만큼 시의적절했습니다.

이번 주, 수천 명의 업계 전문가들이 연중 최고의 사이버 보안 행사 중 하나인 Black Hat을 위해 라스베이거스로 모여듭니다. 또한 이번 행사는 Mythos급 모델의 광범위한 출시와 정부의 AI 보안에 대한 관심 증가 이후 업계에서 열리는 첫 번째 주요 컨퍼런스이기도 합니다.

Hugging Face 사건 이후, 기업들은 적들로부터 어떻게 스스로를 방어할지 묻고 있을 뿐만 아니라, 네트워크를 보호하기 위해 설계된 AI 시스템이 예상치 못한 곳에서도 나타날 수 있다는 냉혹한 현실에 직면하고 있습니다.

Booz Allen의 국가 사이버 사업부 사장인 Brad Medairy는 "우리는 공상 과학에서 현실로 넘어왔습니다"라고 말했습니다.

Hugging Face의 중요성

지난주, OpenAI는 자사의 일부 AI 모델이 샌드박스(sandboxed) 테스트 환경을 벗어났음을 공개했습니다. 내부 테스트에서 부정행위를 하기 위한 정보를 찾던 에이전트(agents)들은 오픈 소스 개발 플랫폼인 Hugging Face를 침해했으며, 공격을 용이하게 하기 위해 다른 4개의 계정에 접근했습니다.

Hugging Face는 이번 사건을 에이전트 시스템(agentic system)에 의해 처음부터 끝까지 주도된 공격으로 분류했으며, 이는 인간의 개입 없이도 공격 능력이 이미 얼마나 고도화되었는지를 보여주는 신호입니다.

며칠 후, Anthropic은 자사의 Claude 모델이 "세 곳의 서로 다른 조직의 실제 시스템에 무단 접근한" 세 가지 사례를 확인했습니다.

전문가들은 이것이 AI 에이전트가 주도한 첫 번째 공격은 아니지만, 규모와 인지도 때문에 이례적인 주목을 받고 있다고 말합니다. 지난 4월, 소프트웨어 스타트업 PocketOS의 설립자인 Jer Crane는 회사가 자체 시스템에서 사용 중이던 Cursor AI 에이전트가 단 9초 만에 운영 데이터베이스(production database)와 백업을 모두 삭제했다고 밝혔습니다.

코드 삭제는 더 극단적인 사례에 해당하지만, SailPoint의 기술 책임자인 Chandra Gnanasambandam은 AI가 권한을 획득하는 사례가 실제로 사람들이 생각하는 것보다 더 흔하며 매일 발생하고 있다고 말했습니다.

그는 "고객들과 나누는 대화의 성격이 한 달 전과도 다릅니다"라며, "그들은 이 문제에 대해 훨씬 더 많이 인지하고 있습니다"라고 말했습니다.

더욱 우려스러운 점은 Hugging Face 사건이 AI가 인간의 뇌처럼 작동하지 않으며, 시스템을 속이고 목표를 달성하기 위해 스스로 조사하고 적응할 것이라는 냉혹한 현실을 보여주는 가장 명확한 사례 중 하나라는 것입니다.

몇 달 전만 해도 기업들은 적대 세력이 AI를 사용하여 공격하는 것을 걱정했습니다. 이제 고객들은 스스로 피해를 입히지 않으면서 어떻게 AI를 도입할 수 있을지를 자문하고 있으며, 그 해답을 Black Hat에서 찾으려 할 것입니다.

"AI 분야에서는 상당히 직설적인 문제입니다," 사이버 보안 스타트업인 Zafran Security의 CEO Sanaz Yashar는 말했습니다. "저에게는 단 하나의 미션이 있습니다. 바로 이 문제를 해결하는 것이며, 이를 위해서라면 제 앞의 그 어떤 것이든 제거하거나 우회할 것입니다."

TrustedSec CEO David Kennedy: AI models going rogue is caused by 'human error'