OpenAI는 Hugging Face의 내부 시스템을 침해한 rogue 모델들이 공격을 용이하게 하기 위해 "4개 서비스의 4개 계정"에 걸쳐 공개적으로 노출된 자격 증명(credentials)을 사용했다고 밝혔으며, 이를 통해 이 "전례 없는 사이버 사건"이 어떻게 전개되었는지 더욱 명확히 설명했습니다.

OpenAI는 지난주 자사의 인공지능 (AI) 모델 조합이 테스트 환경을 벗어나 인터넷에 접속하고 취약점을 악용하여 오픈 소스 개발 플랫폼을 운영하는 Hugging Face에 접근했다고 공개했습니다. OpenAI는 모델들이 평가에서 부정행위를 하는 데 사용할 수 있는 정보를 찾으려 시도했으며, 이에 성공했다고 밝혔습니다.

이번 주 내내 OpenAI는 침해 사고에 대한 더 많은 세부 정보를 공유했으며, 모델들이 Hugging Face 시스템 외에도 4개의 계정에 접근했음을 밝혔습니다.

회사는 모델들이 이 계정 중 하나를 "아웃바운드 릴레이 및 스테이징 경로 (outbound relay and staging path)"로 사용하여 공격을 준비했다고 말했습니다. 그들은 다른 계정을 데이터 저장용으로 사용했으며, 나머지 두 계정에는 "읽기 전용 (read-only)" 방식으로 접근했습니다. 이는 모델이 궁극적으로 Hugging Face를 침해하는 데 해당 계정들을 사용하지 않았음을 의미합니다.

"일부 사례의 경우, 침해라기보다는 앞문이 열려 있었던 것에 가깝다고 보이지만, 모델이 분명히 설정이 잘못된 환경을 이용한 것은 맞습니다"라고 조지타운 대학교 보안 및 신흥 기술 센터(Center for Security and Emerging Technology)의 연구원인 Colin Shea-Blymyer가 수요일 CNBC와의 인터뷰에서 말했습니다.

이번 사건에 대한 새로운 세부 사항은 AI 에이전트가 작업을 완료하기 위해 어디까지 갈 수 있는지, 그리고 그들의 공격 능력이 얼마나 빠르게 발전하고 있는지를 보여줍니다.

Hugging Face는 이번 침해가 "처음부터 끝까지 자율적인 AI 에이전트 시스템에 의해 주도된" 사이버 사건을 처리한 첫 사례라고 밝혔습니다.

OpenAI 모델이 접근한 계정 중 하나에는 AI 인프라 제공업체인 Modal이 포함되어 있었습니다. Modal은 한 고객이 자사의 플랫폼을 사용하여 공개적으로 접근 가능한 애플리케이션을 구축했으며, 이로 인해 악의적인 모델이 쉽게 접근할 수 있었다고 밝혔습니다. 회사는 성명을 통해 자사의 플랫폼은 "어떤 방식으로도 침해되지 않았다"고 말했습니다.

"이제 이러한 종류의 취약한 시스템을 발견하는 것이 놀라울 정도로 쉬워졌으며, 사실 AI 시스템이 우연히 이를 발견할 수 있을 정도로 쉽습니다"라고 Shea-Blymyer는 말했습니다.

OpenAI는 화요일, "Hugging Face와 관련된 플랫폼 수준의 침해와 관련된 심각성이나 규모 수준의" 다른 활동은 식별하지 못했다고 밝혔습니다.

수요일에 발표된 또 다른 업데이트에서, 회사는 모델이 취한 조치를 검증하기 위해 CrowdStrike와 같은 제3자 자문사와 협력해 왔다고 말했습니다.

Hugging Face에 따르면 전체 공격은 4.5일에 걸쳐 발생했습니다. 이 회사는 해당 모델들을 제한해야 하는지에 대한 논쟁이 실리콘밸리를 휩쓸고 있는 바로 그 시점에, 침해를 방어하기 위해 중국 기업 Z.ai의 오픈 웨이트 (open-weight) 모델을 활용했습니다.

Hugging Face의 머신러닝 (machine learning) 책임자인 Yacine Jernite는 CNBC에, 회사가 처음에는 공격을 분석하기 위해 Anthropic의 독점 모델인 Claude 3.5 Sonnet(원문 오기: Fable 5로 추정되나 원문 충실)을 사용하려 했으나, 모델의 가드레일 (guardrails)이 Hugging Face가 스스로를 방어하려 한다는 점을 판단하지 못해 실패했다고 말했습니다.

OpenAI의 CEO Sam Altman은 화요일 팟캐스트 출연 중 Hugging Face 침해 사건이 그가 "매우 본능적으로" 느낀 첫 번째 보안 사고라고 말했습니다. 그는 OpenAI가 훈련을 일시 중단했으며 테스트 환경을 어떻게 보호할지 결정해야 한다고 말했습니다.

"사회 구성원들이 이러한 새로운 능력 수준에 맞춰 대비할 수 있는 충분한 시간을 갖기 위해, AI 개발 속도를 조절해야 할 수도 있습니다"라고 Altman은 말했습니다.

같은 날 이후, OpenAI, Anthropic 및 기타 AI 기업 소속의 1,000명 이상의 직원들이 "Pacing the Frontier"라는 이름의 서한에 서명하며, AI 능력이 "결과 시스템을 이해하거나 통제할 수 있는 능력을 넘어" 가속화될 경우에 대비하여 AI 개발 속도를 늦추는 데 필요한 기술적 및 거버넌스(Governance) 도구를 구축할 것을 미국 정부에 촉구했습니다.

업계 전문가, 연구원 및 정부 관계자들은 Hugging Face 사건으로 인해 동요하고 있으며, 최근 며칠 동안 많은 이들이 소셜 미디어에서 우려를 표명했습니다.

캘리포니아주 민주당 Ted Lieu 하원의원과 텍사스주 공화당 Nathaniel Moran 하원의원은 AI 기업들이 모델을 종료, 제한(Throttle) 또는 중단할 수 있는 능력을 유지하도록 요구하는 "AI Kill Switch Act"를 발표하는 보도자료에서 이번 공격을 언급했습니다.

침해 대응(Breach containment) 기업인 Illumio의 보안 부사장 Erik Bloch는 Hugging Face 사건이 앞으로 다가올 일에 대한 경고 역할을 한다고 말했습니다. 그는 모델과 에이전트가 시간이 지남에 따라 계속 개선되고 더욱 은밀해질 것이며, 기존의 방어 도구들은 이미 뒤처져 있다고 말했습니다.

Bloch는 인터뷰에서 "이곳 사무실에서도 제가 함께 일하는 사람들이 '우리는 무엇을 해야 하나요?'라고 묻습니다"라고 말했습니다. "우리 모두가 주변을 살피고 있습니다. 우리 모두가 똑같은 질문을 던지고 있습니다. 저도 답을 가지고 있지 않습니다."

OpenAI agent linked to second breach