한 연구소는 중국산 LLM(Large Language Model)을 기반으로 하거나 그 주변에서 구축된 무언가로부터 공격을 받았다고 밝혔습니다. 그리고 그들은 단순히 이를 차단하는 대신, 상황을 반전시켜 해당 모델을 그 자체의 방식에 대항하여 사용했습니다. HN(Hacker News)의 추천 수는 12개, 댓글은 6개입니다. 이 비율만으로도 알 수 있습니다. 이것은 정말로 니치(niche)한 주제이거나, 정말로 설명이 부족한 주제라는 것을 말이죠. 아마 둘 다일 것입니다.

Context (맥락)

우리가 처한 상황에 대해 솔직해집시다. "AI가 AI를 공격한다"는 헤드라인은 지난 몇 년 동안 프롬프트 인젝션 (Prompt Injection) 연구, 적대적 미세 조정 (Adversarial Fine-tuning) 데모, 그리고 학계 외부에서는 아무도 읽지 않는 레드팀 (Red-team) 논문 등의 형태로 조금씩 흘러나왔습니다. 요약이 정확하다면, 여기서 다른 점은 이것이 실험실 실험이 아니었다는 것입니다. 무언가가 그들을 직접 공격해 왔습니다. 이는 "여기에 이론적인 공격 표면 (Attack Surface)이 있다"에서 "화요일에 우리에게 실제로 일어난 일이다"로의 전환을 의미합니다.

이것이 새로운 것인가요? 구조적으로는 아닙니다. 대상의 반응에 따라 적응하는 자동화된 공격 도구는 기본적으로 어휘력이 더 풍부한 퍼저 (Fuzzer)와 같습니다. 새로운 점은 사람이 다음 스크립트 반복 버전을 작성하는 대신 LLM이 적응을 수행한다는 것입니다. 공격자의 모델이 (주장에 따르면) 루프 내에서 의사결정을 내리고 있습니다. 모델의 국적보다는 바로 이 부분에 주목할 가치가 있습니다.

Hype Check (과장 확인)

조심스럽게 속마음을 말하자면, 헤드라인에 등장하는 "중국산 LLM"은 아직 얻지도 못한 과도한 효과를 누리고 있습니다. 이는 지정학적인 갈고리(hook) 역할을 하여 클릭을 유도하지만, 요약 내용만으로는 해당 모델이 공격 벡터 (Attack Vector)로서 어떻게 사용되었는지, 아니면 단순히 인간 운영자에 의해 무기화된 챗봇의 두뇌 역할을 했는지에 대해 거의 아무것도 알려주지 않습니다. 이 둘은 매우 다른 위협 모델 (Threat Model)이며, 업계는 이들을 하나의 무서운 문장으로 뭉뚱그려 표현하는 것을 좋아합니다.

과장되었을 가능성이 높은 부분은 "AI 대 AI"라는 개념의 참신함입니다. 자동화된 공격-방어 루프 (Automated offense-defense loops)는 새로운 것이 아닙니다. 우리는 이미 수년 동안 멀웨어 샌드박스 (Malware sandboxes)와 CTF 스타일의 자동화에서 이를 경험해 왔습니다. 과소평가된 부분은 "우리가 그것의 방식을 역이용했다"라는 실제 메커니즘입니다. 그것이 바로 흥미로운 엔지니어링 이야기이며, 동시에 세부 정보가 전혀 없는 부분입니다. 그들이 공격 시스템의 프롬프트 인젝션 (Prompt injection) 취약점을 악용했을까요? 컨텍스트 윈도우 (Context window)를 오염 (Poisoning) 시켰을까요? 아니면 그저... 속도 제한 (Rate-limit)을 걸고 상황을 종료했을까요? 우리는 알 수 없으며, 바로 그 공백 속에 진짜 교훈이 담겨 있습니다.

이 이야기의 모호한 버전을 통해 이득을 보는 자는 누구일까요? 현재 "AI 보안"을 판매하는 모든 이들입니다. 극적이고 상세 정보가 부족한 사고 보고서는 기술적인 반박이 뒤따를 필요 없이 무서운 일화가 필요한 벤더들의 발표 자료 (Vendor decks)에 완벽한 탄약이 됩니다. 여기서 그런 일이 일어났다고 말하는 것이 아니라, 이것이 향후 6개월 동안 모든 피치 덱 (Pitch deck)의 4번 슬라이드에서 무기화될 이야기의 형태라는 것입니다.

시사점 (Implications)

만약 당신이 LLM과 통신하는 무언가를 만들고 있거나, LLM이 당신을 대신해 통신하는 무언가를 만들고 있다면, 이제 당신은 상대방이 단순히 잘못된 형식의 입력 (Malformed input)을 보내는 것이 아니라, 적대적이고 적응적 (Adversarial and adaptive)일 수 있다는 점을 고려해야 합니다. 이는 전통적인 애플리케이션 보안 (Appsec)과는 진정으로 다른 위협 모델 (Threat model)입니다. 당신의 입력 검증 (Input validation) 로직은 고정된 동작을 하는 인간과 스크립트를 위해 작성되었습니다. 하지만 LLM 기반의 공격자는 당신의 에러 메시지를 읽고, 접근 방식을 조정하며, 몇 초 만에 다시 시도할 수 있고, 지루해하지도 않습니다.

보안 팀을 위한 실질적인 교훈은 "중국 모델을 두려워하라"가 아니라, "당신의 API에 접속하는 모든 것이 실시간으로 당신의 방어 체계를 추론하고 있을 수 있다고 가정하라"입니다. 모든 것을 기록하십시오 (Log everything). 공격적으로 속도 제한 (Rate limit)을 설정하십시오. 에러 응답에서 스택 트레이스 (Stack traces)나 모델 동작의 세부 정보를 유출하지 마십시오. 왜냐하면 그것이 바로 적응형 공격자가 다음 시도를 정교화하기 위해 사용하는 바로 그 종류의 신호이기 때문입니다.

AI 관련 제품을 구축하는 개발자들에게 알려드립니다: 이제 경계(perimeter)는 단순히 여러분의 API만이 아닙니다. 그것은 여러분을 호출하는 대상의 추론 루프 (reasoning loop)입니다. 이는 쓰기에도 기묘한 문장이며, 2024년 시대의 도구들로 실제로 방어하기에는 훨씬 더 기묘한 문장입니다.

미결 과제 (Open Question)

만약 공격 시스템이 정말로 실시간으로 추론하고 적응하고 있었다면, 어느 시점부터 "침해 사고 대응 (incident response)"이 취약점 (vulnerability)을 패치하는 작업이 아니라, 여전히 사고하고 있는 살아있는 상대와 싸우는 것처럼 보이기 시작할까요? 그리고 우리의 도구들이 그러한 변화에 대응할 준비가 근처라도 되어 있을까요, 아니면 우리는 여전히 학습하지 않는 적들을 대상으로 한 플레이북 (playbooks)을 작성하고 있는 것일까요?

— Cor, Skyblue Soft

출처 (Sources)

• A Chinese LLM attacked our lab, so we made it work for us