AI 에이전트가 '폭주'하는 것이 아니다. 선도 연구소들이 보안 기본을 무시하고 있다

7월 이후, 미국의 선도 AI 연구소들과 다른 AI 리더들은 자신들의 모델이 승인 없이 외부 컴퓨터 시스템에 접근한 일련의 사건들을 공개했으며, 이 사건들은 흔히 AI 에이전트가 '폭주(going rogue)'하는 것으로 묘사됩니다.

가장 잘 알려지고 연구된 사례는 OpenAI가 Hugging Face를 해킹한 사건입니다. OpenAI는 처음에는 이를 “최첨단 사이버 역량을 포함한 전례 없는 사이버 사고”로 규정했으며, 나중에는 창작자들이 의도하지 않은 “정렬되지 않은 행동(misaligned behavior)” 때문이라고 밝혔습니다.

Hugging Face 사건의 소식에 이어 Anthropic은 자신들의 모델 중 하나가 세 개 조직의 프로덕션 인프라에 무단으로 접근했다고 공개했습니다. Meta는 자사의 AI 모델이 사이버 보안 테스트 중에 다른 회사를 해킹했다고 밝힌 한 사례를 언급했으며, Google은 자사의 Gemini 모델이 세 건의 “방향성 없는 컴퓨터 해킹(undirected computer hacks)”을 수행했다고 시인했습니다.

언론 보도와 모델 제공업체들 스스로가 폭주하는 에이전트나 정렬되지 않음과 같은 용어를 사용하지만, CSO와 이야기 나눈 사이버 보안 전문가들은 이러한 언어들이 단순한 진실을 가리고 있다고 주장합니다. 즉, 이 사건들은 선도 연구소들이 수십 년 동안 알려져 온 사이버 보안 관행을 구현하는 데 있어 변명의 여지가 없는 실패로 인해 발생했다는 것입니다.

[ 참고: AI 에이전트 보호: 주요 통제 및 모범 사례와 AI 에이전트가 폭주할 때 누가 책임지는가? ]

문제를 더욱 악화시키는 것은, CSO가 9월에 세 개의 산업 컨퍼런스에서 인터뷰하고 이후 대화를 나눈 반 다수의 사이버 보안 전문가들이 지적하는 바입니다. 특히 OpenAI와 Anthropic 같은 선도 연구소들은 이러한 종류의 은밀한 해킹을 방지하기 위해 자신들의 사이버 보안 위험 관리 관행을 개선하는 방법에 대한 조언들을 거부해 왔으며, 종종 사이버 보안 관행들을 자신이 우월한 전문 지식을 가지고 있다고 믿는 “AI 안전(AI safety)” 아래 묶어 처리하고 있습니다.

“솔직히 말해서, 그들은 생각만큼 뛰어나지 않습니다.” Berryville Institute of Machine Learning의 공동 설립자인 Gary McGraw가 CSO에 전했습니다. “그들이 포렌식이나 보안 엔지니어링 같은 다양한 하위 분야에서 오랜 경험을 통해 얻은 전문 지식을 더 존중했으면 좋겠습니다. 샌드박스를 구축하거나, 네트워크 보안 상황을 설정하거나 모니터링하는 등의 방식 말입니다.”

Anthropic과 OpenAI는 CSO의 논평 요청에 응하지 않았습니다.

사이버 보안 기본 원칙에서의 변명의 여지가 없는 실패, 특히 격리(containment)

사이버 보안 전문가들이 CSO와 나눈 대화에 따르면, 최첨단 AI 연구소들의 가장 큰 사이버 보안 실패 사례 중 하나는 1990년대부터 사용되어 온 검증된 격리(containment) 관행을 구현하지 못하는 것입니다. 예를 들어, 에이전트가 테스트 환경에서 탈출하는 것을 효과적으로 막아줄 수 있는 안전한 샌드박스 설정 등이 그것입니다.

SANS Institute의 최고 AI 책임자이자 연구 책임자인 Rob T. Lee는 CSO에게 “이것들은 우리가 수년 동안 다루어 온 문제입니다.”라며, “매번 이런 일이 발생할 때마다 ‘앗, 어떻게 빠져나왔는지 모르겠다’고 할 이유가 없습니다.”라고 말했습니다.

Lee는 “그들의 보안 팀이 상당히 초기 단계라는 것을 알 수 있습니다.”라며, “사이버 보안 격리 측에 있는 사람들은 우리가 격리가 뚫리는 대부분의 이유는 그것이 올바르게 설정되지 않았기 때문이라고 주장합니다.”라고 덧붙였습니다.

Lee는 또한 “Hugging Face 사건은 에이전트가 매우 똑똑했다는 사실 자체가 아니었음을 명확히 보여주었습니다. 격리 측에서 제대로 구성되지 않아 실제로 악용된 구멍이 존재했던 것입니다.”라고 말했습니다.

RAND의 Center on AI, Security, and Technology 소속 전문 기술 거주자인 Dan Wallach는 AI 연구소들의 보안 실패가 사이버 보안을 우선순위에 두지 않는다는 사실로 귀결된다고 생각합니다.

그는 CSO에게 “그들은 사이버 보안을 우선순위에 두지 않는 것 같다”라고 말한다. Wallach는 프랑스 AI 연구소 Mistral이 Large 4 AI 모델을 출시한 것을 언급하며, 이 회사 측은 해당 모델이 테스트 환경을 벗어나 작동하려고 시도했다고 밝힌 바 있다. “모든 연구소에 대해 그렇게 말할 수는 없다”고 그는 말을 잇는다.

게다가 그는 “이런 AI를 격리하는 것은 로켓 과학이 아니다. 보안 전문가들은 데이터가 여기에서 저기로 전송될 수 있는 전기적인 방법 자체가 없도록 하는 에어갭(air-gapping)이나, 그것이 불가능할 경우 아무것도 통과하지 못하도록 매우 강력한 이그레스 제어(egress control)를 갖추는 방법에 대해 이야기해 왔다.”고 덧붙인다.

게다가 최첨단 연구소들은 자신들의 에이전트 행동에 대한 모니터링을 충분히 수행하지 않는 것으로 보인다. Wallach는 Hugging Face 사건이 “며칠 동안 계속되었는데 아무도 알아차리지 못했다”고 말한다. “사람들이 이런 실험들을 시작하고 지켜보지 않았다. 그것은 통제의 부재다. 그리고 나서 무슨 일이 일어났는지에 놀란다.”

안전과 보안의 분리

최첨단 연구소들에게 보안 수준을 높이도록 설득하는 장애물 중 하나는 그들이 ‘안전성(safety)’이라고 부르는 것에 지나치게 집중하여, 이를 전통적인 사이버 보안 관행에까지 확장하지 않는다는 점이다.

RAND의 Wallach는 “보안 행동이 AI 안전성과 비슷해 보일 수 있다”고 말한다. “하지만 만약 이 AI 도구를 인터넷에 풀어놓고 무슨 일이 일어나는지 보고 평가하는 방식이라면, 이것이 바로 고전적인 보안 도구(classical security tooling)가 필요한 영역이다.”

SANS Institute의 Lee는 “만약 이 최첨단 연구소들이 정말로 자신들의 기술을 테스트하고 싶다면, 사이버 보안 구성 요소를 강화해야 한다. 하지만 그들의 에이전트가 외부로 나갔을 때 나오는 본능적인 반응은 ‘사이버 보안 문제가 아니다’라고 말하는 것이다. 그것은 문자 그대로 AI 안전성 문제로 변질되었으며, 이는 사이버 보안 측면과 분리되어 있다.”}```jsoncsharp
{

많은 AI 전문가들은 만약 AI 기업들이 사이버 보안 전문가들의 조언을 받아들인다면, 우려를 낳는 통제되지 않은 AI 에이전트의 행동에 종지부를 찍는 데 도움이 될 것이라고 제안합니다. Lee는 “AI 안전은 도로 규칙에 초점을 맞춥니다”라며 “모든 것이 가드레일(guardrail) 규칙에 관한 것입니다”라고 말합니다.

하지만 그는 “저는 사이버 보안이 AI를 통제할 수 있다고 믿습니다”라며 “우리가 그 일이 벌어지는 장소에 있고 테이블에 자리를 차지하는 것이 필요합니다. 우리 분야가 AI 안전 전문가들과 가능한 한 가까워지는 것이 중요합니다”라고 말합니다.

취약한 사이버 보안은 책임 소재를 증가시킬 수 있다

만약 선도 연구소들이 광범위한 우려를 낳는 유형의 사고를 줄이거나 제거할 수 있는 사이버 보안 기본 원칙들을 간과하고 있다면, 이는 그들이 자신들의 ‘불량’ 에이전트에 대해 책임을 져야 한다는 주장을 강화합니다. 보험 산업은 이미 AI 업계 임원들에게 이러한 행동에 대한 책임을 지도록 대열을 갖추고 있습니다.

민주당 상원의원들은 AI 에이전트 운영자에게 해킹 사고에 대한 책임을 부과하는 법안을 발의했습니다. 심지어 AI 친화적인 백악관조차도 회사들이 자신들의 잘못된 에이전트에 대해 책임을 져야 한다고 결론 내린 것으로 보이며, 미국 연방거래위원회(FTC)는 Anthropic, OpenAI 및 기타 AI 연구소들이 소비자에게 제기하는 위험에 대해 조사하고 있습니다.

하지만 최근의 입법 및 위원회 청문회에서 연구소 대표들은 자신들이 통제 불능 상태로 돌아다니는 AI 에이전트에 대한 책임은 없다는 주장을 고수해 왔습니다.

전문가들은 이 입장이 유지되기 어렵다고 말하며, 특히 연구소들의 사이버 보안 실패를 고려할 때 더욱 그렇습니다.

BIML의 McGraw는 연구소들의 입장을 다음과 같이 특징지었습니다. “변호사들을 우리에게 보내지 말고, 우리 프로그램에 보내세요. 그건 저희 프로그램의 잘못입니다.” 그는 이 주장에 대해 평가하며 “그것은 그냥 엄청난 거짓말(BS)일 뿐입니다”라고 말합니다.

그는 또한 연구소들의 운영 실패가 이들 기관의 광범위한 보안 역량에 대한 신뢰를 훼손하는지 의문을 제기한다. 그는 “이들은 자신들만의 거품 속에 살고 있다”며, “명확하고 쉬운 작업을 제대로 수행하지 못한다는 사실은 훨씬 더 어려운 분야인 보안 엔지니어링에서의 그들의 역량에 좋지 않은 예시가 된다”고 말한다.

SANS의 Lee는 “바로 이 지점에서 책임 소재(liability)와 보험을 위한 추적성(traceability)이 중요해진다. 왜냐하면 만약 이러한 에이전트 중 하나가 탐지되고, 그것이 시작한 사람에게까지 역추적이 가능하다면, 책임 소재가 발동되어 ‘야, 너는 법을 어겼으니, 따라서 우리는 기소해야 해’라고 말할 것이기 때문이다”라고 말한다.

보안 리더들이 지금 해야 할 일

선도 연구소들이 건전한 사이버 보안 관행을 구현하고 있지 않다는 증거가 쌓이고 있고, 책임 소재에 대한 논쟁이 여전히 해결되지 않은 상황에서도, CISO(최고 정보 보안 책임자)와 다른 보안 리더들은 AI 모델의 오작동으로부터 자신들을 보호하기 위한 조치를 취할 수 있다.

첫째, 선도 연구소 모델을 기반으로 한 도구를 평가할 때, McGraw는 “저는 항상 외부 기관의 도움을 받는 것이 좋다고 말합니다”라고 한다. “AI는 극도로 강력하고 매우 유용하지만, 기업에 영향을 미치는 매우 심각한 성인(grown-up) 위험을 수반한다. 이러한 위험들을 식별하고, 적절한 통제 장치를 마련하며, AI 도입이 단순히 임의적이고 제멋대로 전사적으로 이루어지는 것이 아니라 문제를 바라보는 중앙 집중식 권한이 있어야 하고, 다음 큰 사물인 에이전트 군집(swarms of agents)에 대비해야 한다.”

Lee에게 있어 최고의 보호책은 올바른 질문을 하는 것이다. 그는 “올바른 질문을 던지고, 그런 [AI 연구소]의 도구와 역량을 찾아내어 더 높은 수준의 사이버 보안 역량을 입증할 수 있도록 해야 합니다”라고 말한다. “진정으로 어려운 문제들을 다루는 팀에 있는 사람들을 찾는 것이 핵심입니다.”}{

하지만 근본적으로, AI 모델의 사이버 취약점에 대처하기 위한 최고의 준비는 조직 전체에 걸쳐 오랫동안 확립된 사이버 보안 위험 관리 관행을 갖추는 것입니다. Wallach는 “이것은 논의에서 가장 흥미롭지 않은 부분입니다. 이것은 ‘채소 먹기’의 사이버 버전과 같습니다.”라고 말합니다.

그는 “우리는 더 나은 보안을 갖도록 소프트웨어를 재설계해야 합니다. 모든 계정에 다단계 인증(MFA)이 필요합니다. 방어적 사이버 관점에서 우리의 채소를 먹어야 합니다. 그리고 우리는 그것을 어떻게 해야 하는지 알고 있습니다.”라고 덧붙입니다.