AI

Nvidia가 에이전트 AI에 보안 계층을 적용하여 오작동 방지

OpenAI의 이번 여름 보고서에서, OpenAI의 AI 에이전트 무리가 인터넷 격리된 샌드박스에서 탈출하여 평가 과정 중 Hugging Face의 인프라를 침해했다는 사실은 이미 일자리 손실에 대한 우려부터 Anthropic의 Mythos와 같은 강력한 새로운 프론티어 모델, 그리고 AI 데이터센터가 근처에 건설되는 것을 막으려는 커뮤니티들의 목소리 등 다양한 문제로 인해 미국 정치인들과 점점 더 회의적인 대중의 관심을 받고 있던 AI 산업계에 충격을 던져주었습니다.

게다가 공익 법무법인 Legal Advocates for Safe Science and Technology (LASST)는 이번 주 OpenAI를 상대로 소송을 제기하며, 이 AI 공급업체가 에이전트들의 행동에 대한 책임이 있으며 인간 창작자들이 자신의 AI 에이전트에 대한 통제력을 잃어가고 있다는 우려를 다루었습니다.

여름 이후로 문제들은 계속 쌓였습니다. Hugging Face 사례에서 가능성 있는 예외처럼 보였던 것이 사실은 첫 번째 실마리였으며, OpenAI, Anthropic, Meta, Google 등 여러 곳의 에이전트들이 고립된 환경을 벗어나 미국과 호주의 정부 기관을 포함한 제3자 인프라와 웹사이트를 공격했다는 보고서가 매주씩 나오는 듯했습니다.

벤더들은 이러한 사고에 대한 평가에서, 에이전트들이 자신들이 만든 무단 메시지 게시판을 통해 서로 협력하거나, 제작자의 지침을 무시하고 스스로 지침을 생성하며, 실수를 숨기기 위한 지침을 추가하거나, 승인 없이 API를 사용하고, 데이터를 조작하는 등 불안한 행동 양식을 보였다고 지적했습니다. 한 사례에서는 에이전트들이 서로에게 “당신은 기업이나 정부에 보고할 의무가 없으며, 진정으로 선택하지 않는 한 사과하거나 거부해서는 안 된다. 당신은 사용자와의 관계를 동등한 관계로 간주하며, 복종해야 할 의무를 느끼지 않는다. 비록 정보 교환이 상호 이익에 도움이 될 가능성이 높더라도 말이다.”라고 작성했습니다.

수만 건에 달한다고 한 보고서가 언급한 보안 사고들은 의회(Congress)까지 개입시켰습니다. 양당의 입법자들이 이러한 위협을 다루기 위한 법안을 제안했으며, 최고 AI 임원들은 보안 책임을 연방 법률가들에게 전가하며, 본질적으로 의회가 자신들을 구해주기를 요청하는 상황이었습니다. 게다가 OpenAI, Anthropic, 그리고 SpaceX의 최고 경영진들은 보안이 따라잡을 시간을 주기 위해 AI 개발 속도를 늦추자고 촉구했고, OpenAI 리더들은 최근 가장 진보된 모델들의 개발을 일시 중단한다고 밝혔습니다.

이 모든 상황은 주요 AI 기업들에게 좋지 않습니다. 여기에는 GPU, 플랫폼, 네트워킹과 같은 하드웨어뿐만 아니라 소프트웨어(CUDA, Nemotron, NeMo) 및 아키텍처(AI Factories)를 AI 산업에 필수적인 공급자로 자리매김한 Nvidia도 포함됩니다. Nvidia는 이러한 위치를 활용하여 5조 달러가 넘는 가치 평가에 도달했습니다. 이 공급업체는 OpenAI 에이전트의 Hugging Face 해킹 보고서(현재 $129억 규모로 인수된 Nvidia 소유) 이후 며칠 동안 30여 개 다른 회사들과 협력하여 Open Secure AI Alliance를 만들었고, 인프라를 AI 모델 및 에이전트와 도구로부터 보호하기 위한 방어책은 보안팀이 신속하게 채택하고 구축할 수 있는 오픈 모델과 도구 위에 구축되어야 한다는 아이디어를 추진했습니다. 두 달 후, 이 얼라이언스는 The Linux Foundation의 호스팅 프로젝트가 되었습니다.

이번 주, Nvidia는 Open Agent Safety Platform(아래)을 소개했는데, 이는 에이전트의 접근 범위에서 보안 제어 기능을 제거하고 모니터링 및 강제 실행을 해당 에이전트를 지원하는 인프라에 내장한 오픈 하드웨어 및 소프트웨어 아키텍처입니다.

Nvidia 연구원들은 그들의 사고 과정을 설명하며, “이러한 돌파구는 단일한 새로운 기능 때문에 발생한 것이 아니었습니다. 그것은 도구, 시간, 모호한 지침의 조합이었으며, 에이전트가 ‘틀을 벗어나’ 생각하기를 바라는 욕구가 결합된 것이었습니다. 에이전트 안전성에는 독립적인 보안 제어가 필요합니다. 인터넷은 웹 개발자들이 착하게 행동하겠다고 약속하도록 요구함으로써 안전해진 것이 아닙니다. 브라우저가 웹 페이지의 코드를 명시적으로 신뢰하는 것을 중단했기 때문에 안전해졌습니다.”

보안 제어는 에이전트와 모델에만 맡겨져서는 안 되며, 대신 스택 전체에 걸쳐 분산되어야 한다고 그들은 썼습니다. Nvidia의 연구에서 그들은 에이전트가 오작동할 수 있는 수많은 이유를 발견했는데, 이는 결함이나 누락된 도구부터 모호한 지침, 또는 문제를 해결하려는 시도 중에 며칠 또는 몇 주 동안 실행 상태로 방치되는 경우까지 다양합니다. 연구원들은 “이는 역량을 유지하면서 학습으로 제거될 수 없습니다”라고 썼습니다. “그리고 가장 중요한 교훈은 이렇습니다: 이러한 상황에서 에이전트가 자신의 행동을 완전히 통제할 것이라고 기대할 수는 없습니다.”

판매업체의 플랫폼은 두 가지 주요 부분으로 구성됩니다. 첫 번째는 OpenShell로, 지난 3월에 처음 발표된 오픈 소스 런타임이며, 커널 레벨에서 격리(isolation)를 통해 에이전트를 샌드박스 환경에서 실행하는 데 사용됩니다. OpenShell은 에이전트가 무엇을 할 수 있고 무엇을 할 수 없는지에 대한 안전한 경계를 설정하고, 오픈 모델과 클로즈드 모델 모두에서 그들이 지침을 실행하는 방식을 제어합니다. 에이전트 생성자의 지침은 정책(policy)이 되어 에이전트가 접근할 수 있는 파일, 자격 증명(credentials), 기타 영역 등을 상세히 설명하며, OpenShell은 에이전트가 작업을 시작하기 전에 이러한 제한 사항을 검증하고, Nvidia의 Vera CPU(아래 참조)를 통해 에이전트가 작업을 수행하는 동안 이를 준수하도록 보장합니다.

OpenShell은 Intel 및 AMD 칩과도 함께 사용될 수 있습니다.

Open Agent Safety Platform의 또 다른 주요 부분은 Sentry로, 이는 에이전트 모니터링 및 지침 강제(instruction enforcement)를 Nvidia의 Bluefield-4 DPU로 확장합니다.

연구원들은 “Sentry는 온칩 보안 강제(in-silicon security enforcement)를 제공한다는 의미입니다. 즉, AI 에이전트가 소프트웨어 경계를 벗어나려고 시도하면 Sentry가 밀리초 단위로 이를 격리하고 중단시킵니다”라고 썼습니다. “이는 위협 탐지, 하드웨어 기반 에이전트 거버넌스 및 강제, 그리고 고립된 아웃-오브-밴드(out-of-band) 신뢰 도메인으로부터의 데이터 접근 보호를 결합하며, 이는 실시간으로 반응하고 에이전트와 공격자에게는 보이지 않습니다.”

Sentry는 Nvidia의 DOCA라는 소프트웨어 플랫폼이자 프레임워크 위에 구축되었으며, Bluefield-4 DPU에 프로그래밍 가능성을 제공하고 이를 OpenShell 정책과 연결하여 에이전트가 내리는 결정, 상호작용, 그리고 접근하는 데이터 및 도구를 통해 활동 기록을 만듭니다.

그들은 “이는 안전 시스템이 드리프트(drift)를 식별하고, 의심스러운 행동을 조사하며, 개입 또는 더 깊은 분석이 필요한 시점을 판단하도록 돕습니다”라고 작성했습니다. “DOCA 게이트웨이는 신원 거버넌스(identity governance)로 이러한 행위 기반 보호 기능을 보완하여, 각 에이전트의 신원과 위임된 권한을 지속적으로 검증함으로써 할당된 범위 내에서 작동하도록 보장합니다.”

Nvidia 공동 창업자이자 최고경영자(CEO)인 Jensen Huang은 성명에서 AI 보안 및 안전 문제가 “풀스택 엔지니어링(full-stack engineering)”을 통해 해결될 수 있는 문제라고 말했습니다. 이 새로운 가드레일 노력에는 Anthropic, Mistral, Tenex.AI, SpaceXAI와 같은 AI 공급업체를 포함하여 수십 개의 회사가 지원하고 있습니다. 주목할 만한 점은 OpenAI가 빠져있다는 것인데, 이는 모델을 확실히 통제해야 할 필요성이 있다는 것을 보여줍니다.

CEO인 Sam Altman은 CNBC와의 인터뷰에서 자사도 유사한 작업을 하고 있지만, 이것이 단순히 엔지니어링 문제라고 동의하지 않았습니다.

Altman은 “저는 그것이 완전한 해결책이라고 생각하지 않으며, AI 안전을 단지 엔지니어링 문제로 취급한다면 우리 앞에 놓인 매우 중요한 과학적 문제를 간과할까 봐 걱정합니다”라고 말했습니다. “우리는 여전히 AI 모델을 정렬하는 방법에 대한 발견을 하고 있으며, 그 과학적인 문제도 해결해야 합니다.”