Anthropic, 데이터센터 없이 자체 개선 및 확산하는 자가 복제 AI 웜 위협 경고

Anthropic의 Frontier Red Team은 잠재적인 AI 기반 웜(worm)의 두 가지 구성 요소를 시연했습니다. 이 웜은 핵심 구현 문제가 해결될 경우, 데이터센터 인프라에 의존하지 않고도 저렴한 Android TV 박스나 스마트 가전제품을 포함한 소비자 기기 전반으로 확산될 수 있습니다. 실험 결과는 AI 에이전트가 다양한 하드웨어 플랫폼에서 추론(inference)을 구성하고 네트워크를 통해 복제를 조율할 수 있음을 보여줍니다. 하지만 오늘날 모델의 역량과 잠재적 목표 장치의 하드웨어 제약 사이의 격차와 관련하여 여전히 심각한 한계점들이 존재합니다.

Anthropic은 10월 12일 "AI models may be capable of self-replicating without access to a datacenter"라는 제목의 보고서에서 weight-based replicator라 불리는 잠재적인 악성코드 유형을 검토했습니다. 이 코드는 기존 실행 가능한 코드(executable code)를 배포하는 대신, 감염된 장치에서 추론을 실행하는 데 필요한 소프트웨어 인프라와 함께 AI 모델 가중치(model weights)를 전파합니다. 또한 이는 순수한 이론에 그치지 않습니다.

연구원들은 Qwen3.5-9B가 NVIDIA Jetson Nano 장치, Apple Silicon Mac, Xeon 서버, a Google TPU, AMD의 MI300X, 그리고 RTX 4090이 장착된 PC를 포함하여 테스트한 아홉 가지 하드웨어 유형 중 여덟 가지에서 추론 서버를 구축할 수 있음을 시연했습니다. 또한 이들은 약 55달러에 달하는 브랜드가 없는 Android TV 박스 15대에서 Gemma4-26B-A4B를 실행했으며, 시간당 총 0.39 토큰의 생성률을 달성했습니다.

Anthropic은 또한 모델이 네트워크 전반에 걸쳐 복제를 오케스트레이션(orchestrate)할 수 있는지 테스트했습니다. 이 실험에서는 Android 15 에뮬레이터를 실행하는 8개의 Google Cloud 노드를 사용했습니다. 시드된 에이전트(seeded agent)가 인증되지 않은 Android Debug Bridge (ADB) 포트를 통해 노드들 사이로 전파되면서 파일을 전송하고 각 대상에 추론 서버(inference server)를 구축했습니다. 7,440억 개의 파라미터와 크기가 1TB가 넘는 거대 모델인 GLM-5.2는 5번의 시도 중 4번에서 모든 노드에 걸쳐 복제 순서를 완료했으며, 나머지 시도에서는 7개의 노드까지 도달했습니다.

Self replicating AI

(이미지 출처: Anthropic)

테스트된 다른 오픈 웨이트 모델은 GLM-5.2의 오케스트레이션 없이는 이 순서를 전혀 완료할 수 없었으며, 이러한 기능이 장착되어 있음에도 불구하고 더 큰 모델에게 의미 있게 도움을 요청하는 것도 불가능했습니다. 당연하게도, GLM-5.2는 실제로 스마트 TV 박스에 자신을 복제한 것이 아니라, 각 대상에 훨씬 작은 Llama 3.1 8B를 위한 추론 서버를 구축했습니다. GLM-5.2가 별도의 추론 서버에서 실행된 이유는 에뮬레이션된 노드들이 더 큰 모델을 처리할 수 없었기 때문입니다.

다시 말해, Anthropic은 매우 크고 외부에서 호스팅되는 모델이 의도적으로 노출된 ADB 인터페이스를 가진 기기들 전반에 걸쳐 단순화된 복제 순서를 오케스트레이션할 수 있음을 입증했으며, 작은 모델들이 추론 환경을 설정할 수는 있지만, 작은 모델이 소비자 하드웨어 전반에 걸쳐 독립적으로 자신을 복제할 수 있다는 것은 절대 증명하지 못했습니다. 이 구별은 인정하건대 미묘하지만, 전체 전제가 작은 모델들이 데이터센터 인프라에 의존하지 않고 곧 확산될 수 있다는 것이기 때문에 그럼에도 불구하고 꽤 중요합니다.

실험은 연구의 핵심 제약 사항을 드러냅니다: 복제 시퀀스를 안정적으로 완료할 수 있는 모델들은 현재 저렴한 대상 장치에서 실행하기에는 충분히 작지 않으며, 해당 장치의 메모리 예산 내에 들어오는 모델들조차 추론(inference) 설정을 할 수는 있지만 전체 과정을 안정적으로 완료하지는 못합니다. 따라서 안정적인 복제에 필요한 지능과 대상 하드웨어가 지원할 수 있는 최대 모델 크기 사이의 격차는 이 위협 모델이 현재로서는 실제로 적용 가능하지 않다는 것을 의미하지만, Anthropic은 그 간극이 좁혀질 수 있다 있으며, 잠재적으로 곧 그럴 수 있다고 경고합니다.

Self replicating AI

(이미지 출처: Anthropic)

일반 AI 역량의 역사적 개선 추이(Epoch Capabilities Index를 통해 측정됨)를 활용하여, Anthropic은 300억 개 매개변수(parameter) 규모의 모델이 2026년 말까지 필요한 역량 수준에 도달할 수 있을 것으로 예측합니다. 하지만 다시 한번 강조하지만, 이는 가설일 뿐이며 여전히 상당한 효율성 문제를 해결하지는 못하고 있습니다.

측정된 추론 성능과 설정 실험의 토큰 요구 사항을 바탕으로, Anthropic은 Qwen3.5-9B 모델의 경우 약 2851시간이, Gemma4-26B-A4B 모델의 경우 71150시간이 필요한 추론 환경 구축 시간을 추정했습니다. 이는 저렴한 Android TV 박스에서 관찰된 처리량 기준이며, 사용된 박스는 RAM 4GB 구성으로 상대적으로 사치스러운 수준입니다.a relative luxury among these의 저가형 셋톱박스입니다. 모델 기반 복제기(replicator)는 새로운 호스트에서 추론 환경을 구축하는 데 며칠이 걸릴 수 있는 반면, 기존 악성 코드는 대상에 대한 가정이 유효할 경우 몇 초 만에 페이로드를 실행할 수 있습니다. 일반적인 웜은 몇 분 만에 수만 개의 취약한 대상을 감염시킬 수 있습니다.

모델 가중치(weights) 또한 상당한 대역폭 및 저장 비용을 발생시킵니다. Anthropic은 손상된 호스트가 감염된 장치로부터 직접 받는 것이 아니라 외부 리포지토리에서 가중치를 다운로드할 수 있으며, 모든 손상된 기계가 모델을 호스팅할 필요는 없다는 점을 인정합니다. 그럼에도 불구하고, 다중 기가바이트(multi-gigabyte) 페이로드를 배포하고 샤딩된(sharded) 모델을 실행하는 기계들 간에 통신을 유지하는 것은 엄청난 네트워크 트래픽을 발생시켜 활동을 매우 쉽게 탐지할 수 있게 만듭니다.

Anthropic은 최대 2백만 대 이상의 장치를 감염시킨 악명 높은 Kimwolf 봇넷과 비슷한 규모의 가상 군단이, 15개 장치당 하나의 모델을 호스팅한다고 가정할 경우 약 13만 3천 개의 Gemma4-26B-A4B 인스턴스를 지원할 수 있다고 추정합니다. 측정된 처리량(LAN 지연 시간으로부터 상당한 이점을 얻음)에 따르면, 이러한 군단은 대략 40개의 Hopper H100 동급의 추론 용량을 제공할 것이라고 Anthropic은 말합니다.

이는 데이터에 대해 상당히 자유로운 비교이지만, 그럼에도 불구하고 그다지 위협적이지 않다고 해야 합니다. 우리는 수개월(또는 수년; 가장 빠른 28시간 설치 속도를 사용하더라도 2백만 대의 장치를 감염시키는 데 약 6,300 에이전트-년이 걸릴 것임) 동안 감염 상태를 유지하고 작동해야 하는 2백만 개의 감염된 장치들이 몇 개의 이전 세대 GPU보다 적은 AI 추론 처리량을 생성하는 상황을 이야기하고 있습니다.

Anthropic은 실제 복제기가 다른 유형의 하드웨어를 악용하고, 이질적인 장치에 걸쳐 다양한 모델을 배포하며, 모든 감염된 호스트에 모델 가중치를 로드하는 것을 피할 수 있다고 언급합니다. 그러한 가능성들은 확실히 비교를 복잡하게 만들지만, 논쟁의 범위를 넘어설 정도로 복잡하게 만든다고 주장할 수 있습니다.

Self replicating AI
(이미지 출처: Anthropic)

해당 연구는 의미 있는 보안 우려를 제기합니다: AI 에이전트가 악성코드를 낯선 환경에 더 적응할 수 있게 만들고, 목표 특정 엔지니어링 요구량을 줄일 수 있기 때문입니다. 일상적인 작업을 위한 기존 코드와 예상치 못한 상황이 발생했을 때 AI 기반 추론을 결합하는 하이브리드 접근 방식은 모든 감염된 장치가 지속적으로 추론 엔진을 실행할 필요 없이 이러한 이점 중 일부를 제공할 수 있습니다. 이는 확실히 우려되는 부분이지만, 우리는 이미 AI 에이전트가 최첨단 지능을 사용하여 자체 코드를 작성하여 보안 시스템을 손상시킨 사례를 목격했기 때문에, 이 연구의 특정 각도는 그리 혁신적이지 않습니다.

Anthropic의 실험은 자율 소프트웨어 구성과 간소화된 네트워크 복제가 점점 더 실현 가능하다는 증거를 제공한다는 점에서 유용하지만, 이러한 기능을 물질적으로 더 위험한 유형의 악성코드로 전환하려면 모델 신뢰성, 하드웨어 호환성, 배포 효율성 및 실제 보안 제어를 극복하는 능력이 개선되어야 하며, 이는 해당 기업이 테스트하지 않은 영역입니다. 이 논문에서는 다루지 않은 방대한 데이터와 흥미로운 발견들이 많이 있으므로, 이 연구에 관심이 있다면 직접 확인해 보시는 것을 추천합니다.