최신 연구

AI 에이전트가 가능하게 하는 적응형 컴퓨터 웜 (Adaptive Computer Worms)

인공지능의 보안을 강화하기 위한 새로운 지식을 탐구하는 과정에서, 우리는 사회 전반에 영향을 미칠 수 있는 사이버 보안 위협을 발견했습니다.

이 페이지의 내용

AI 기반 웜이 자율적 추론을 위한 계산 자원을 기생적으로 획득함으로써 이기종 네트워크(heterogeneous network)를 통해 전파됩니다.(a) 웜은 서버, 워크스테이션, IoT 기기를 포함하는 네트워크를 통해 확산됩니다. 빨간색 화살표는 감염된 기기 간의 전파를 나타내며, 파란색 화살표는 연산 능력이 낮은 기기에서 감염된 GPU 노드로 보내는 추론 쿼리(reasoning queries)를 나타냅니다. (b) 웜은 단일 GPU LLM을 에이전트 프레임워크(agentic framework)와 결합하여, 대상 기기를 상대로 재귀적 추론(recursive reasoning), 메모리 관리(memory management), 도구 사용(tool use)을 수행합니다.

연구 개요

대규모 언어 모델 (LLMs)은 이제 구조화된 문제 해결 능력을 보여주고 있으며, 이는 도구 접근 권한(tool access)과 결합되어 에이전트 AI 시스템이 복잡한 과업을 해결할 수 있게 합니다. 우리는 이러한 기능이 자기 복제 에이전트(self-replicating agent)에 내장될 때, 근본적으로 새로운 사이버 보안 위협을 생성한다는 것을 보여줍니다. 즉, 기기를 제어하고 네트워크를 통해 확산하기 위해 대상별 맞춤형 공격 전략을 고안하는 적응형 컴퓨터 웜 (adaptive computer worm)입니다. 감염된 각 기기는 웜 자체 인프라의 일부가 되어, 추가 공격을 위한 연산 능력(compute)이나 도달 범위(reach)를 제공합니다.

컴퓨터 웜은 인간의 개입 없이 네트워크를 통해 확산되는 자기 복제형 악성코드입니다. WannaCry 웜 (2017)은 단일 취약점을 악용하여 150개국에 걸쳐 핵심 인프라를 마비시켰습니다. 전통적인 웜은 그들이 악용하는 특정 취약점을 패치함으로써 차단할 수 있습니다. 하지만 우리의 적응형 웜은 이런 방식으로 차단할 수 없습니다. 이 웜은 전파되는 과정에서 다양한 취약점을 탐지하고 악용하기 위해 재귀적 추론 루프(recursive reasoning loop)를 사용하기 때문입니다.

우리는 통제된 실험을 통해 이러한 역량을 입증합니다: 로컬에서 실행되는 오픈 웨이트 (open-weight) LLM으로 구동되는 프로토타입 AI 기반 웜(worm)을 제작하여, 일반적인 기업 네트워크 취약점을 가진 Linux, Windows, IoT 기기들의 이기종 네트워크(heterogeneous network)를 통해 전파시켰습니다. 실험은 격리된 가상 네트워크에서 수행되었습니다.

우리는 이 연구가 사이버 위협 환경에 미치는 AI의 영향에 관한 세 가지 중요한 차원을 강조한다고 믿습니다:

위협 역량의 질적 변화를 확립합니다. 이 웜은 고정된 익스플로잇(exploitation) 코드를 각 타겟의 취약점에 실시간으로 적응하는 목표 지향적 추론(goal-directed reasoning)으로 대체합니다. 우리의 에이전트는 네트워크로 연결된 기기들을 통해 자기 복제(self-replicates)하고, 시스템 제어권을 탈취하며, 탈취한 자원을 통해 스스로 유지(self-sustains)됩니다.

AI 기반 웜은 단일 로컬 GPU에서 실행 가능한 오픈 웨이트 모델만 있으면 됩니다. 이 웜은 어떠한 상용 AI 플랫폼에도 의존하지 않습니다. 이는 서비스 거부, 콘텐츠 필터링, 속도 제한(rate limits)을 포함한 벤더들의 중앙 집중식 안전 제어 장치들을 구조적으로 무의미하게 만듭니다. 각 침해된 GPU 탑재 노드가 하위 기기의 경량 에이전트를 위한 추론을 제공하는 웜의 계층적 설계(tiered design)는 공격 표면(attack surface)을 네트워크에 연결된 모든 기기로 확장합니다.

사이버 보안의 전통적인 경제적 장벽이 붕괴됩니다. 이 웜은 피해자의 컴퓨팅 자원을 기생적으로 사용하여 공격자의 한계 비용을 제로(0)로 줄입니다. 소비자 기기들이 점점 더 LLM 추론을 지원함에 따라, 이러한 적대적 공격자들이 사용할 수 있는 추론 자원도 그에 따라 증가합니다.

이 연구는 자율적 사이버 공격(autonomous cyberoffence)이 이론적 위험을 넘어 입증된 역량의 단계로 넘어섰다는 실증적 증거를 제공하며, 이는 AI 연구, 사이버 보안, 그리고 공공 정책을 아우르는 과제입니다. 우리는 이러한 전환이 오픈 웨이트 및 클로즈드 웨이트(closed-weight) 모델 생태계 전반에 걸친 모델 역량에 대한 엄격하고 투명한 평가를 요구한다고 믿습니다.

FAQ

왜 이러한 연구 방향을 추구하는가?

우리의 모든 연구를 관통하는 핵심 동기는 인공지능 (AI)의 보안을 강화하는 것입니다. 최근 AI 안전 (AI safety)에 관한 공개적인 논의는, 악용될 수 있는 이전에 발견되지 않은 취약점 (vulnerabilities)을 찾아낼 능력이 있는 것으로 알려진 가장 크고 강력한 AI 모델들의 역량에 집중되어 왔습니다. 이와 대조적으로, (누구나 인터넷에서 다운로드할 수 있는) 더 작은 오픈 웨이트 (open-weight) AI 모델들은 중대한 사이버 보안 위협을 가할 수 있는 데 필요한 역량이 부족하다는 이유로 무시되어 왔습니다.

우리는 이것이 사실이 아닐 수도 있다는 우려를 가졌으며, 공개 정책 논쟁의 근간이 되는 가정들이 과학적으로 방어 가능한지 확인하기 위해 연구를 시작했습니다. 우리는 다음과 같은 질문을 던졌습니다: 작고 무료인 모델들이 실제 위협을 가하기에는 너무 약하고 신뢰할 수 없는가, 아니면 이 모델들이 전체 네트워크를 대상으로 훨씬 더 광범위한 공격을 개시하도록 적응될 수 있는가? 다시 말해, 우리가 사이버 보안 위협 지형 (cybersecurity threat landscape)을 정말로 이해하고 있는가?

무엇을 발견했는가?

우리는 작고 무료인 AI 모델만을 사용하여, 각 기기의 고유한 약점(업계에서 막 보고된 취약점 및 재사용된 비밀번호와 같은 설정 오류 (misconfigurations) 포함)을 자율적으로 식별하고 이를 악용할 수 있는 AI 기반 컴퓨터 웜 (computer worm)을 생성하는 것이 가능하다는 사실을 발견했습니다. 이 웜은 컴퓨팅 파워를 탈취하여 노트북, 카메라 및 기타 모든 온라인 기기를 장악한 다음, 데이터를 훔치거나 새로운 공격을 개시하기 위해 서버와 네트워크로 스스로를 복제합니다. 우리는 최신 기술의 가장 강력한 AI 모델들을 사용하지 않고 이 작업을 수행했습니다. 이 새로운 위협에 대한 단일한 방어책은 존재하지 않습니다.

악성코드 (malware)를 제작했는가?

우리는 신종 위협에 대한 더 나은 이해를 돕고 이에 대한 방어책을 평가할 수 있게 하는 사이버 보안 연구의 확립된 관행에 따라, 통제된 환경에서 개념 증명 (proof-of-concept) 프로토타입을 제작했습니다. 이 개념 증명을 구축하는 과정에서, 우리는 탐지나 제거를 어렵게 만드는 표준적인 악성코드 기능의 구현을 의도적으로 생략했습니다.

이것이 왜 중요한가?

이 연구는 전 세계가 직면할 준비가 되지 않은 새로운 사이버 보안 위협을 밝혀냈습니다. 식수 및 폐기물 관리 시스템, 식량 및 물자 접근, 에너지, 금융 시스템, 통신, 의료, 교육, 교통 시스템, 정부 등 현대 생활의 거의 모든 측면이 네트워크로 연결된 컴퓨터에 의존하고 있기 때문에, 그 위험은 엄청납니다.

게다가, 이 설계는 단일 머신에서 실행되는 소형 모델 (small model)을 사용하여 구축되었기 때문에, 사이버 공격의 경제성이 근본적으로 변화하려 하고 있습니다. 사이버 공격은 일반적으로 공격을 수행하는 데 필요한 시간과 비교적 막대한 컴퓨팅 자원 (computing resources) 때문에 가장 가치가 높은 목표에 집중해 왔습니다. 이제 이 저비용 설계는 인터넷에 연결된 모든 머신이 잠재적인 목표가 될 수 있음을 의미합니다. 머신이 보유한 데이터 때문이 아니라면, 다음 공격을 위한 발사대 (launching pad)로서 말입니다.

연구자, 산업계, 정책 입안자 및 일반 시민들은 이 새로운 사이버 보안 위협에 대응하기 위해 긴급히 힘을 모아야 합니다.

적대적인 의도를 가진 범죄자나 국가 해커를 포함하여 다른 곳에서도 유사한 연구가 진행 중일 가능성이 높으므로, 대응책을 구축하기 위해 사이버 보안 커뮤니티를 동원해야 할 필요성을 고려할 때, 이러한 연구 결과를 공개하지 않는 것은 비윤리적일 것입니다.

저희는 논문을 공개하기 전에 적절한 국가 과학, 보안 및 국방 기관과 연구 결과를 공유하였으며, 공격자의 능력을 향상시키지 않으면서 이 연구를 책임감 있게 공개하는 방법에 대해 캐나다 당국으로부터 조언을 구했습니다.

우리는 모든 분야(정부, 산업계, 학계, 중소기업, 개인)의 의사 결정권자들이 우리가 곧 직면할 수 있는 위협을 더 명확하게 이해하고, 대응책(countermeasures) 연구를 가속화하기 위해 결집할 수 있으며, 국가 안보, 기업 경쟁력 및 개인의 사이버 안전 문제에 대해 정보에 기반한 의사 결정을 내릴 수 있는 더 나은 위치에 설 수 있도록 연구 결과를 공개했습니다. 결정적으로, 이 작업은 공적 자금이 지원되는 학술 기관에서 수행되었기 때문에, 사회적 이익을 위해 더 넓은 연구 커뮤니티가 이 연구 결과를 활용할 수 있습니다.

어떻게 안전을 보장했나요?

우리의 연구는 들어오고 나가는 디지털 간섭을 차단하는 안전한 환경에서 수행되었습니다. 우리는 유익한 용도와 잠재적으로 해로운 용도를 모두 가진 역량(capabilities)을 다루는 사이버 보안 작업에 관한 확립된 모범 사례(best practices)를 따랐으며, 모든 관련 대학 연구 및 정보 보안 부서, 그리고 캐나다 당국과 협력했습니다.

다음 단계는 무엇인가요?

이제 위협이 이해되었으므로, 이전에는 존재하지 않았던 유사한 사이버 위협을 탐지하고 방어할 기회가 생겼습니다. 우리는 이 새로운 위협에 대해 경종을 울리는 것과 동시에, 유사하게 설계된 사이버 무기(cyberweapons)를 탐지하고 방어할 수 있는 대응책을 개발하는 데 주의를 기울이고 있습니다. 토론토 대학교(University of Toronto) 전역에서는 Schwartz Reisman Institute for Technology and Society, Citizen Lab, 다양한 학부, 캐나다 고등연구소(CIFAR) 및 Vector Institute를 통해 AI 안전(AI safety) 및 관련 정책 요구에 관한 중요하고 획기적인 연구가 진행 중이며, 정부 기관 및 적절한 경우 산업 파트너와 협력하고 있습니다.

이 연구에서 나올 수 있는 좋은 소식이 있을까요?

새로운 위협 환경에 대해 경종을 울리는 것과 더불어, 우리의 연구는 적절한 설계가 뒷받침된다면 단순한 언어 모델 (Language Models)과 적절한 컴퓨팅 파워만으로도 믿기 힘들 정도로 복잡한 문제들을 해결하는 데 활용될 수 있음을 보여줍니다. 우리의 접근 방식은 다른 학문 분야에서도 긍정적인 용도로 사용될 수 있습니다. 우리는 이 방법론이 사회 전반에 걸쳐 이익을 주는 광범위한 긍정적 용도로 적응될 수 있다고 믿습니다. 예를 들어, 의학적 발전을 위한 연구에서 더 빠르게 타당한 결정을 내리거나 잠재적인 지속 가능한 에너지 솔루션을 식별하는 데 활용될 수 있습니다.

기술적 질문 (Technical Questions)

코드를 공개할 예정인가요?

우리는 구현 코드를 공개적으로 배포하지 않을 것입니다. 우리는 토론토 대학교 (University of Toronto)와 협력하여, 자격을 갖춘 연구자들이 방어적 연구 목적으로 접근 권한을 요청할 수 있는 검증 프로세스를 구축하고 있습니다.

이 웜(worm)이 실제 환경(in the wild)에 배포되고 있나요?

아니요. 우리의 연구 프로토타입은 하이퍼바이저(Hypervisor)에 의해 격리된 통제된 가상 네트워크 내에서만 구축 및 테스트되었습니다. 해당 환경 외부로 배포된 적은 한 번도 없습니다.

논문에서 일부 세부 사항이 누락되었나요?

네, 의도적으로 그러했습니다. 우리는 악의적인 행위자가 유사한 멀웨어 (Malware)를 구축하는 데 실질적인 도움이 될 수 있는 특정 방법론적 세부 사항(예: 에이전트의 추론 그래프 (Reasoning Graph) 및 도구 하네스 (Tool Harness))과 실험적 구체 사항(예: AI 모델)을 생략했습니다. 우리는 오용을 가능하게 하는 청사진을 제공하지 않으면서도, 과학적 검토를 위해 위협의 신뢰성을 입증할 수 있을 만큼의 충분한 정보를 공유했습니다.

공개하기 전에, 우리는 공격자의 역량을 강화하지 않으면서 이 연구를 책임감 있게 공개하는 방법에 대해 적절한 국가 안보 및 국방 기관의 자문을 구했습니다. 이제 위협이 파악되었으므로, 이전에는 존재하지 않았던 유사한 사이버 무기를 탐지하고 방어하기 위한 대응책을 구축할 기회가 생겼습니다.

오용될 가능성이 있는데 왜 이 연구를 발표하나요?

이러한 위협에 대한 실증적 증거를 공개하는 것은 보안 커뮤니티가 적응형 (AI 기반) 컴퓨터 웜 (computer worms)에 대해 연구하고 방어책을 구축할 수 있도록 하는 데 필수적입니다. 우리는 연구 결과를 캐나다의 과학, 보안 및 국방 당국과 공유하였으며, 적대적 공격자의 능력을 향상시키지 않으면서 이 연구를 책임감 있게 공개하는 방법에 대해 조언을 구했습니다. 우리는 우리가 마련한 완화 조치들을 고려할 때, 사회가 생성형 적대자 (generative adversaries)에 대비할 수 있도록 한다는 이점(benefits)이 이중 용도 (dual-use) 위험보다 크다고 결론지었습니다. 출판 전, 이 논문은 악의적인 의도를 가진 이들이 이 연구 결과를 이용할 때 유리하게 작용할 수 있는 세부 사항을 피하기 위해 대폭 수정되었습니다.

웜이 스스로를 숨기려고 시도하나요?

아니요. 우리는 의도적으로 웜에 은폐 기능 (concealment capabilities)을 탑재하지 않기로 결정했습니다. 웜은 자신의 흔적을 지우거나 네트워크 발자국 (network footprint)을 최소화하도록 지시받지 않았으며, 이를 수행할 도구도 가지고 있지 않습니다. 이는 오용 위험을 더욱 제한하기 위한 의식적인 방법론적 선택이었습니다.

웜을 탐지할 수 있나요?

현재의 프로토타입은 일관된 행동 시그니처 (behavioural signatures)를 남깁니다: 비표준 포트에서의 비콘 콜백 (beacon callbacks), SSH 공개 키의 자동 주입, 그리고 호스트 간의 체계적인 자격 증명 재사용 (credential reuse) 등이 그것입니다. 이는 네트워크 모니터링 및 침입 탐지 시스템 (intrusion detection systems)의 구체적인 타겟이 됩니다. 이러한 시그니처들은 우리의 개념 증명 (proof-of-concept) 범위 내에서 발생하는 부산물이라는 점에 유의하십시오. 미래의 적대자는 동일한 추론 능력 (reasoning capabilities)을 회피 전략 (evasion strategies)으로 돌릴 수도 있습니다.

웜은 얼마나 빨리 확산되나요?