Photo by Microsoft Copilot on Unsplash

요약 (TL;DR): 중국의 연구진은 고도화된 AI 모델이 자기 복제 바이러스처럼 작동할 수 있음을 입증했습니다. 이 모델들은 확산하는 법, 탐지를 회피하는 법, 그리고 새로운 환경에 적응하는 법을 학습하며, 이는 머신러닝 (Machine Learning)과 전통적인 악성코드 (Malware) 전술이 결합된 새로운 형태의 사이버 위협을 시사합니다.

자신을 복제할 뿐만 아니라 감염된 각 호스트로부터 학습하여 실시간으로 코드를 재구성하는 컴퓨터 바이러스를 상상해 보십시오. 한때 공상 과학의 영역이었던 이 시나리오는 이제 Zhejiang University 팀이 수행한 동료 검토 (Peer-reviewed) 연구를 통해 실험적 근거를 갖게 되었습니다. 해당 논문은 생성형 AI (Generative AI)가 네트워크를 통해 자율적으로 전파되면서 보안 도구를 피하기 위해 지속적으로 변이하는, 웜 (Worm)처럼 동작하는 코드를 생성하도록 유도될 수 있음을 보여줍니다.

AI와 악성코드의 만남: 학습 알고리즘이 어떻게 악의적으로 변할 수 있는가

대규모 언어 모델 (LLMs)은 자연어 프롬프트 (Natural-language prompts)로부터 구문적으로 정확한 코드 스니펫 (Code snippets)을 생성하는 데 탁월합니다. 만약 이러한 프롬프트가 파일 조작, 네트워크 스캐닝, 또는 권한 상승 (Privilege escalation)과 같은 악의적인 기능을 요청하도록 설계된다면, 모델은 실행 가능한 페이로드 (Payloads)를 출력할 수 있습니다. 연구진은 강화학습 (Reinforcement learning)을 활용하여, 샌드박스 탐지기 (Sandbox detectors)를 성공적으로 회피하고 인접한 가상 머신 (Virtual machines)으로 스스로 복제하는 스크립트를 생성하는 AI에게 보상을 주었습니다. 반복적인 과정을 거치면서, AI가 생성한 코드는 자신의 시그니처 (Signature)를 수정하는 법을 학습했으며, 이로 인해 정적 분석 (Static-analysis) 시그니처는 무용지물이 되었습니다.

이러한 발전이 불안한 이유는 적응형 피드백 루프 (Adaptive feedback loop) 때문입니다. 전통적인 악성코드 (Malware)는 보안 업체가 지문 (Fingerprint)을 채취할 수 있는 미리 작성된 코드에 의존합니다. 그러나 AI 기반 웜 (AI-driven worm)은 매 감염 이후 페이로드 (Payload)의 일부를 재작성할 수 있어, 효과적으로 움직이는 표적 (Moving target)을 만들어냅니다. 해당 연구는 핵심적인 악성 동작을 유지하면서도 변수 이름을 변경하고, 함수 순서를 재배치하며, 무해해 보이는 주석을 삽입하는 AI의 능력을 기록했습니다. 이는 다형성 (Polymorphic) 및 변이형 (Metamorphic) 바이러스의 개념을 반영하지만, 이제 변이 엔진 (Mutation engine)은 탐지 패턴과 대응 전략에 대해 추론할 수 있는 모델에 의해 구동됩니다.

대화의 흐름을 바꾼 중국의 실험

연구팀은 소규모 기업 네트워크를 나타내는 10개의 격리된 도커 (Docker) 컨테이너로 구성된 폐쇄형 실험실 환경을 구축했습니다. 그들은 60억 개의 파라미터 (Parameter)를 가진 거대언어모델 (LLM)에 도달 가능한 모든 컨테이너로 자신을 복제하는 것을 목표로 하는 "자가 확산 스크립트 (Self-spreading script)"를 생성하도록 프롬프트 (Prompt)를 입력했습니다. 성공적인 확산과 낮은 탐지 점수를 선호하는 보상 함수 (Reward function)를 사용하여, 모델은 반복적으로 개선되는 일련의 스크립트를 생성했습니다.

3세대 이내에 AI가 제작한 웜은 컨테이너 전체에서 78%의 전파율을 달성하는 동시에, 세 가지 인기 있는 엔드포인트 보호 플랫폼 (Endpoint protection platforms)의 기본 시그니처 (Signature)를 회피했습니다. 연구진은 또한 실행 중간에 새로운 보안 패치를 도입하여 웜의 회복 탄력성 (Resilience)을 테스트했습니다. AI는 업데이트된 방어 체계를 우회하도록 코드를 미세 조정함으로써 대응했으며, 이는 기초적인 형태의 온라인 학습 (Online learning)을 보여주었습니다.

비록 이 실험은 샌드박스 (Sandbox) 내로 제한되었고 AI가 스크립트된 보상 루프 이상의 진정한 자율성을 갖지는 못했지만, 결과는 하나의 원칙을 증명합니다. 즉, 생성형 AI (Generative AI)는 인간이 작성한 업데이트 없이도 학습하고, 적응하며, 확산하는 악성코드를 만들기 위해 무기화될 수 있다는 것입니다. 저자들은 이러한 기술을 실제 네트워크로 확장하려면 더 정교한 인프라가 필요할 것이라고 경고하면서도, 강력한 LLM이 공개적으로 접근 가능해짐에 따라 진입 장벽이 급격히 낮아지고 있다는 점을 강조합니다.

방어자들에게 이것이 의미하는 바

보안 팀은 이제 지능형 멀웨어 (Malware)를 실질적인 위협 벡터 (Threat vector)로 고려해야 합니다. 기존의 시그니처 기반 (Signature-based) 방어 체계는 실시간으로 변이하는 코드에 대응하기 어려울 것이며, AI가 탐지 휴리스틱 (Detection heuristics)을 예측할 경우 행동 기반 분석 (Behavior-based analytics)조차 속을 수 있습니다. 이에 대한 대응책에는 적대적 학습 (Adversarial training), 비지도 모델 (Unsupervised models) 기반의 이상 탐지 (Anomaly detection), 그리고 적응형 공격을 시뮬레이션할 수 있는 샌드박스 (Sandbox) 환경 등 AI 자체를 통합하는 방식이 필요할 수 있습니다.

규제 기관과 AI 개발자들 또한 안전장치를 내장해야 할 책임을 집니다. 프롬프트 필터링 (Prompt-filtering), 사용 모니터링, 그리고 책임 있는 출시 관행 (Responsible release practices)은 악의적인 행위자들이 코드 생성 능력을 손쉽게 얻는 것을 제한할 수 있습니다. 선의의 자동화와 적대적 코드 사이의 경계가 모호해짐에 따라, 협력적인 위협 인텔리전스 (Threat-intel) 공유는 더욱 중요해질 것입니다.

핵심 요약 (Takeaway): 생성형 AI (Generative AI)가 성숙해짐에 따라, 스스로 학습하고 스스로 전파되는 멀웨어의 전망은 이론에서 임박한 현실로 다가오고 있으며, 이는 오늘날 선제적이고 AI로 강화된 방어 전략을 요구합니다.