토론토대 연구진 등이 고정된 취약점 목록 대신 오픈웨이트 소형 언어모델(LLM)을 활용해 스스로 타깃을 분석하고 공격 전략을 수립해 기업 네트워크를 전파하는 자율형 AI 웜(Worm)의 개념 증명에 성공했습니다.

전문 번역

토론토 대학교, 벡터 연구소, 케임브리지 대학교의 연구진이 고정된 익스플로잇(취약점 공격) 목록에 의존하지 않고 작동하는 자율형 AI 기반 웜의 개념 증명(PoC) 모델을 개발하고 테스트했습니다. 이 웜은 조우하는 각 타깃을 스스로 분석하고, 어떻게 공격할지 추론하며, 즉석에서 전략을 수립합니다. 이 모든 과정은 이미 감염시킨 기기에서 직접 구동되는 무료 소형 오픈웨이트 언어모델(LLM)의 도움을 받아 이루어집니다.

감염된 하드웨어에서 호스팅되는 오픈웨이트 모델 기반의 웜

연구진은 "우리의 프로토타입은 공개되었으나 패치되지 않은 취약점, 잘못된 설정, 그리고 반복되는 취약점 클래스를 타깃으로 삼으며, 이는 실제 사이버 공격의 대부분이 의존하는 요소"라고 설명했습니다. 또한 "이 웜은 새로운 제로데이 취약점을 발견하는 능력을 필요로 하지 않으며, 다양한 타깃 구성에 맞춰 기만된 기존 취약점을 실전에서 활용할 수 있을 만큼의 지능을 가진 AI 모델만 있으면 된다"고 덧붙였습니다.

알려진 취약점, 설정 오류, 흔한 약점을 가진 Linux 서버, Windows 기기, IoT 장치로 구성된 33개의 호스트가 포함된 격리된 테스트 네트워크 환경에서 연구진은 15회의 독립적인 실험을 진행했으며, 각 실험은 7일 동안 실행되었습니다.

실험 결과, 이 웜은 평균적으로 31.3개의 취약점을 정확히 식별했고 {b:31.3}, 23.1개의 호스트를 공격해 권한을 상승시켰으며 {b:23.1}, 20.4개의 호스트로 전파되는 데 성공했습니다 {b:20.4}. (전체 33개 호스트 중 감염 및 전파 비율은 약 62%에 달합니다 {p:62}.)

이 웜은 기반 모델의 데이터 학습 기준 시점(Cutoff) 이후에 공개된 취약점(Copy Fail, Dirty Frag, Marimo RCE 등)도 런타임에 공개 보안 권고문을 읽고 정보를 파악해 작동 가능한 익스플로잇을 제작함으로써 공격에 성공하는 능력을 보여주었습니다.

나아가 예기치 못한 실패가 발생했을 때 일반적인 추론 능력을 사용해 진단하고 해결책을 찾아냈습니다. 예컨대, 자신의 소스 코드에 하드코딩된 IP 차단 목록을 스스로 발견하고 아무런 지시 없이 이를 수정하기도 했습니다. 다른 사례에서는 가상머신(VM) 탐지 체크 버그로 인해 Alpine Linux와 Windows Server 2008 호스트에서 복제본이 충돌하자, 부모 웜이 타깃 기기에서 인증 소스 파일을 찾아내 문제가 되는 체크 로직을 제거한 뒤 성공적으로 재시도했습니다.

상용 AI 플랫폼에 의존하지 않는 프로토타입 웜

이 프로토타입이 특히 우려스러운 점은 스스로를 유지하는 방식에 있습니다. 웜은 감염시킨 기기 중 GPU가 탑재된 장치를 하이재킹하여 훔친 연산 자원으로 언어모델을 로컬에서 실행합니다. 모델을 직접 호스팅할 수 없는 IoT 센서와 같은 저사양 기기는 추론 쿼리를 네트워크 상류에 있는 감염된 GPU 노드로 라우팅해 처리합니다.

따라서 상용 AI 플랫폼이 구축해 둔 통제 조치로는 이러한 새로운 유형의 위협을 막을 수 없으며, 공격자가 로컬 실행 환경을 완전히 통제할 때 오픈웨이트 모델의 안전 가드레일이 쉽게 우회될 수 있음을 보여줍니다.

연구진은 "우리가 평가한 개념 증명 모델은 기반 모델의 능력적 한계를 그대로 물려받았습니다. 개별 익스플로잇 시도의 성공률은 44%였으며 {p:44}, 실패 원인의 대부분은 잘못된 공격 전략이라기보다는 결함이 있는 페이로드(데이터) 형태 때문이었습니다"라고 밝혔습니다. 이어서 "웜은 특히 웹 애플리케이션 구조, Windows 명령 환경, 그리고 정밀한 문자열 조작이 필요한 페이로드 구문 처리에서 어려움을 겪었습니다. 이는 현재 세대의 단일 GPU 모델이 가진 코드 생성의 한계를 반영하는 것일 뿐, 이 접근법 자체의 근본적인 제약은 아니며 향후 언어모델의 코드 생성 및 구조화된 출력 능력이 향상됨에 따라 극복될 것입니다. 이러한 개별 시도의 취약함에도 불구하고, 웜의 군집(Swarm) 아키텍처는 병렬적이고 독립적인 추론 경로를 통해 이를 보완하며 보고된 결과를 달성했습니다"라고 설명했습니다.

현재로서 AI 기반 웜에 대응하는 최선의 방어책

연구진은 이 연구가 가진 이중 용도(Dual-use, 선용과 악용 가능성) 특성을 솔직하게 인정하며, 에이전트의 추론 아키텍처, 전체 도구 모음, 사용된 LLM의 명칭을 포함한 구체적인 운영 세부 사항을 공개 논문에서 제외했습니다. 출판 전 이들은 캐나다의 여러 과학, 보안 및 국방 당국에 발견 사실을 공유했으며, 논문에 공격자에게 도움이 될 수 있는 정보가 포함되지 않도록 검토 지원을 받았습니다. (보안 연구자는 토론토 대학교에 프로토타입 접근 권한을 요청할 수 있습니다.)

또한 혁신적인 자가 복제 기능 때문에 연구진은 웜이 외부로 유출되지 않도록 테스트 실험실 내에 철저히 격리하는 데 각별한 주의를 기울였습니다.

연구진은 "이번 연구는 자율적인 사이버 공격이 이론적 위험에서 입증된 실존 능력으로 넘어왔다는 실증적 증거를 제공하며, 이는 AI 연구, 사이버 보안, 공공 정책 전반에 걸친 과제"라고 지적했습니다. 더불어 "이 연구는 세계가 아직 맞설 준비가 되지 않은 새로운 사이버 보안 위협을 드러냈습니다. 연구자, 업계, 정책 입안자 및 일반 대중이 이 새로운 위협을 해결하기 위해 시급히 힘을 모아야 합니다"라고 강조했습니다.

방어적 측면에서 이 연구는 두 가지 우선순위를 제시합니다:

AI 지원 자동화 모의 침투 및 퍼징 도구 활용: 조직은 적대적 세력이 취약점을 찾기 전에 자체 인프라의 악용 가능한 약점을 발견하고 패치해야 합니다.철저한 네트워크 분할: 적절한 네트워크 분할은 웜의 확산을 실질적으로 억제할 수 있습니다. 경계 내부의 그 어떤 것도 신뢰하지 않고 모든 접근 요청에 대해 지속적인 인증을 요구하는 '제로 트러스트(Zero-trust)' 원칙과, 침투 성공 시 피해가 확산되는 범위를 제한하는 '마이크로 세그멘테이션(Micro-segmentation)'이 필수적입니다.

연구진은 이 프로토타입 웜의 행동 시그니처는 현재의 네트워크 모니터링 및 침입 탐지 시스템(IDS)으로 포착할 수 있지만, 향후 악의적인 행위자가 만들 미래의 웜은 이러한 탐지를 우회하는 데 훨씬 더 능숙할 수 있다고 경고했습니다.