변화는 AI가 피싱 이메일을 작성하는 것이 아닙니다. AI가 의사결정을 내리는 것입니다.

몇 달 전 보안 미팅에서 한 동료가 제기했던 질문에 대해 고민해 왔습니다.

그는 프롬프트 인젝션 (Prompt Injection)이나 모델 포이즈닝 (Model Poisoning)에 대해 묻고 있었던 것이 아닙니다. 그는 더 단순한 것을 물었습니다: "공격자들이 스크립트를 작성하는 것을 멈추고, 스스로 문제를 파악하는 AI를 배포하기 시작하면 어떤 일이 벌어질까요?"

누구도 훌륭한 답변을 내놓지 못했습니다. 그리고 솔직히 말해서, 누군가 틀린 말을 했을 때보다 그 사실이 저를 더 괴롭혔습니다.

자동화 (Automation)와 자율성 (Autonomy)을 구분해 봅시다

보안에서의 자동화는 새로운 것이 아닙니다. 수십 년 동안 존재해 왔습니다. 스캐너 (Scanners), 봇넷 (Botnets), 크리덴셜 스터핑 (Credential Stuffing) 도구들 — 이 모든 것들은 '작업 (Tasks)'을 자동화합니다. 누군가는 여전히 그 작업이 무엇인지 결정하고, 코드를 작성하고, 실행 버튼을 눌렀습니다. 문제가 발생하면 사람이 수정했습니다.

자율 에이전트 (Autonomous Agents)는 한 가지 구체적인 면에서 다릅니다: 그들은 다음에 무엇을 할지 스스로 결정합니다.

그들이 지각 능력이 있어서가 아닙니다.

개별적인 기술들은 새로운 것이 아닙니다. 대부분은 공개된 취약점 데이터베이스(vulnerability databases)와 공격 프레임워크(attack frameworks)에 기록되어 있습니다. 달라진 점은 다음에 어떤 기술을 시도할지, 그리고 얼마나 오랫동안 시도를 지속할지를 '누가' 결정하느냐 하는 것입니다.

점점 더 명확해지는 답은 바로 '아무도 없다'는 것입니다. 시스템이 그냥 계속 진행할 뿐입니다.

사람들이 과소평가하고 있는 것은 바로 규모(Scale)입니다

새로운 익스플로잇(Exploits)은 많은 관심을 받습니다. 제로데이(Zero-days), 새로운 기술, 정교한 멀웨어(malware) 등은 헤드라인을 장식합니다.

하지만 대부분의 침해 사고는 그중 어떤 것도 포함하지 않습니다. 그것들은 패치되지 않은 소프트웨어의 알려진 취약점, 잘못 설정된 클라우드 스토리지(cloud storage), 재사용된 비밀번호, 그리고 아무도 끌 생각을 하지 않아 노출된 채 방치된 서비스들과 관련이 있습니다.

그러한 문제들은 어디에나 존재합니다. 그리고 현재로서는, 이를 대규모(scale)로 찾아내기 위해서는 인간의 노력이 필요합니다. 어떤 조직을 살펴볼지, 어떤 시스템을 조사할지, 어떤 노출된 서비스를 조사할지를 직접 선택해야 합니다.

자율 에이전트(Autonomous agents)는 그러한 제약을 제거합니다. 만약 인간의 주의력이 필요하지 않기 때문에 특정 조직을 공격하는 비용이 0에 가깝게 떨어진다면, 인터넷에 연결된 모든 조직의 경제적 논리가 변하게 됩니다. 단순히 기업뿐만이 아닙니다. 정부 기관뿐만이 아닙니다. 모든 이들이 해당됩니다.

이것이 바로 이 논의에서 흔히 생략되곤 하는 부분입니다.

'신뢰할 수 없음'이라는 논거는 움직이는 표적입니다

제가 가장 자주 듣는 반박은 다음과 같습니다: "AI는 너무 신뢰할 수 없습니다. 환각(hallucinate)을 일으키고 실수를 합니다."

일리가 있는 말입니다. 현재의 모델들은 실수를 합니다. 하지만 이 논거는 보이는 것만큼 설득력이 없습니다.

공격자들에게 완벽한 도구는 필요했던 적이 없습니다. 스팸(Spam)은 신뢰할 수 없었지만, 여전히 효과가 있었습니다. 초기 랜섬웨어(ransomware)는 버그가 있었지만, 여전히 수십억 달러의 피해를 입혔습니다. 크리덴셜 스터핑(Credential stuffing)은 대부분의 경우 실패하지만, 성공하는 아주 적은 비율만으로도 이를 실행할 가치는 충분합니다.

공격 보안 (Offensive security)에서 "충분히 괜찮은" 수준에 대한 임계값은 대부분의 사람들이 가정하는 것보다 훨씬 낮습니다. 15%의 성공률을 기록하며 수천 개의 타겟을 대상으로 지속적으로 실행되는 자율 에이전트 (Autonomous agent)는, 동일한 성공률을 가진 인간 공격자와는 차원이 다른 문제입니다.

신뢰성은 향상될 것입니다. 문제는 신뢰성이 향상되기 전, 우리가 지금 가지고 있는 방어 체계로 무엇을 하고 있느냐 하는 것입니다.

방어자들도 이를 구축하고 있습니다

이것이 일방적인 변화가 아니라는 점을 분명히 하고 싶습니다.

보안 팀들도 조사, 분류 (Triage), 그리고 대응을 위해 자율 에이전트 (Autonomous agents)를 배치하고 있습니다. 방대한 환경 전반에서 경고 (Alerts)를 상관 분석하고, 탐지 규칙 (Detection rules)을 초안 작성하며, 매일 발생하는 10,000개의 이벤트 중 실제로 인간이 살펴봐야 할 이벤트가 무엇인지 식별할 수 있는 AI — 이것은 실재하며, 현재 조직들에서 프로덕션 환경에 적용되어 실제로 유용하게 사용되고 있습니다.

흥미로운 점은 양측 모두 동일한 도구 모음 (Toolkit)을 활용하고 있다는 것입니다. 목표 지향적 AI 에이전트 (Goal-directed AI agents)를 구축하기 위한 동일한 프레임워크, 동일한 기반 모델 (Underlying models), 동일한 클라우드 인프라를 사용하고 있습니다.

이는 경쟁의 핵심이 누가 AI를 보유하고 있느냐가 아니라는 것을 의미합니다. 양측 모두 AI를 보유하고 있거나 곧 보유하게 될 것입니다. 경쟁은 누가 AI를 더 잘 사용하는가, 즉 누가 더 깨끗한 데이터를 공급하고, 주변 프로세스를 더 잘 구축하며, 판단이 실제로 중요할 때 인간이 올바른 결정을 내리는가에 달려 있습니다.

가정의 문제

제가 생각하는 진짜 문제는 이것이며, 이는 들리는 것만큼 AI에 관한 문제만은 아닙니다.

우리의 보안 통제 (Security controls) 대부분은 인간 공격자를 중심으로 설계되었습니다. 속도 제한 (Rate limiting)은 인간의 타이핑 속도를 가정합니다. 보안 인식 교육 (Security awareness training)은 반대편에 사회적 판단을 내리는 누군가가 있다고 가정합니다. 침해 사고 대응 런북 (Incident response runbooks)은 공격이 몇 시간에 걸쳐 전개되며, 각 단계에서 인간이 결정을 내린다고 가정합니다.

자율 에이전트 (Autonomous agents)는 인간의 시간 개념에 따라 작동하지 않습니다. 그들은 다섯 번의 시도가 실패한다고 해서 좌절하지 않습니다. 주말에 쉬지도 않습니다. 타겟이 노력할 가치가 없다고 판단하지도 않습니다.

그것이 그들의 성공을 보장하는 것은 아닙니다. 여전히 방어자에게 유리하게 작용하는 많은 요소들이 있습니다. 하지만 이는 기존 보안 아키텍처 (Security Architectures)에 내재된 많은 가정들이 — 공포에 질려서가 아니라, 정직하게 — 재검토될 가치가 있음을 의미합니다.

인간의 속도에 맞춰 설정된 속도 제한 (Rate limits)은 너무 느릴 수 있습니다. 인간 공격자의 행동에 맞춰 조정된 경보 임계값 (Alerting thresholds)은 다른 패턴을 놓칠 수 있습니다. 인간 공격자의 의사 결정 지점에 맞춰 설계된 대응 플레이북 (Response playbooks)은 에이전트 주도 캠페인 (Agent-driven campaigns)에 깔끔하게 매칭되지 않을 수 있습니다.

이것들은 해결 가능한 문제들입니다. 하지만 먼저 그 문제들이 존재한다는 사실을 인지해야 합니다.

이에 대해 실제로 무엇을 해야 하는가

저는 이 글을 깔끔한 실행 계획으로 끝내지 않겠습니다. 왜냐하면 누군가 당신에게 그런 계획을 제시한다면, 그는 자신의 확신을 과장하고 있는 것이라고 생각하기 때문입니다.

제가 드릴 말씀은 이것입니다. 이러한 전환을 가장 잘 처리할 조직은 보안 예산이 가장 큰 조직이 아닙니다. 그들은 자신들의 방어 체계를 구축하는 방식과 공격자가 실제로 무엇을 할지 모델링하는 방식 모두에서, 작업의 자동화 (Automating tasks)와 목표에 대한 추론 (Reasoning about goals) 사이의 차이점을 이미 명확하게 생각하고 있는 조직들입니다.

이는 단순히 도구 (Tooling)뿐만 아니라 가정들을 스트레스 테스트 (Stress-testing)해야 함을 의미합니다. 이는 "지치지 않는 시스템이라면 인간 공격자와 무엇을 다르게 할 것인가?"라고 질문하는 것을 의미합니다. 또한 자율 에이전트 (Autonomous agents)를 그것이 부정할 수 없는 실제 사례가 나타나기 전이라도 위협 모델 (Threat model)로서 진지하게 받아들이는 것을 의미합니다.

사이버 보안의 역사는 이 점에 대해 꽤 일관적입니다. 자신의 멘탈 모델 (Mental models)을 업데이트하기 전에 확인된 증거를 기다리는 조직들은 항상 뒤처지게 됩니다.

더 나은 질문

보안 분야의 대화는 "AI가 이것을 할 수 있는가?"라는 수준에 머무는 경향이 있습니다. 그리고 그 대답은 점점 더 많은 것에 대해, 더 신뢰할 수 있게 "예"가 되어가고 있습니다.

더 유용한 질문은 이것입니다: 모든 공격의 반대편에 인간이 있다고 가정하지 않는 방어 체계를 어떻게 구축할 것인가?

그것은 해결된 문제가 아닙니다. 아마도 현재 방어 보안 (Defensive security) 분야에서 가장 중요한 미결 과제일 것입니다.

그리고 아직 많은 사람들이 이에 대해 진지하게 논의하지 않고 있다는 사실 그 자체도, 생각할 가치가 있는 문제입니다.

여러분은 이에 대해 어떻게 생각하시나요? 자율적 공격 (Autonomous attacks)이 이미 실질적인 운영상의 위협인가요, 아니면 방어적 계산 (Defensive calculus)을 진정으로 변화시킬 무언가가 나타나기까지 아직 몇 년의 시간이 더 남아있나요? 보안 분야에서 매일 실무를 수행하는 분들이 실제로 무엇을 목격하고 있는지 진심으로 궁금합니다.