본 기사는 사이버 보안 × AI 에이전트 연재 시리즈의 두 번째 글입니다.

연재 1편이었던 지난 글에서는, **SOC(보안 운영 센터)**에 LLM과 AI 에이전트가 등장하고 있는 광경을 여러분과 함께 엿볼 수 있었습니다.

당시 전달해 드린 상황은, '사람이 서버 공간이나 네트워크 공간의 이상 징후를 알리는 경고(알림)를 수작업으로 처리하는' 업무 환경에서 'AI 에이전트가 SIEM으로부터 도착한 알림을 조사하고, 사람이 그 결과를 감독 및 승인하는' 업무 환경으로 변모하고 있는 모습이었습니다.

그곳에서는, 고정된 규칙으로 작성된 SOAR에서 벗어나, 'AI 에이전트가 감지한 위협에 대한 최적의 대응 행동(차단이나 격리 등의 조치)까지 실행하는' 광경에 대해서도 언급했습니다.

이번에는 그 '광경'을 더욱 깊이 파고들어 논해 보겠습니다.

• AI 에이전트가 침해를 감지하고 오염된 통신 구간을 네트워크 전체로 격리한다.
• 그리고 사라져가는 증거를 자율적으로 수집한다.

이 일련의 대응 처리 흐름은 현재 어디까지 자동화되고 있는 것일까요?

2026년 7월 시점에서 이미 실용 단계에 있는 기술과, 아직 연구/구상 단계의 기술을 구분하면서 현 상황을 자세히 살펴보겠습니다.

한편, 여기에 피할 수 없는 모순이 숨어 있습니다.

그 모순이란, 서버나 네트워크 공간 속 오염 구역을 격리하면, 디지털 포렌식 팀이 필요로 하는 사이버 공격의 흔적이나 발자국(증거)이 데이터로서 손실될 우려가 있다는 불편한 진실입니다.

이것을 취하면 저것을 잃게 되는 이율배반적인 모순입니다.

사이버 공격으로부터 피해 확대를 한시라도 빨리 막는 조치와, 사이버 공격의 흔적을 가능한 한 완전한 상태로 정보 보존하는 것.

사이버 보안 현장에서 요구되는 이 두 가지 요구 사항이 정면으로 충돌하는 현장에 AI 에이전트가 던져지고 있습니다.

이 글은 SDN의 내부 구조를 다룬 다음 글의 자매편입니다.

AI 에이전트가 오염 구역을 '격리'하기 위해 조작하는 SDN의 메커니즘에 대해서는 다음 글을 참조해 주십시오.

• 인시던트 대응에는 두 가지 상반된 요구 사항이 있습니다.

**공격을 막기 위한 '격리'**와, **사이버 공격 사안을 조사하기 위해 요구되는 '증거 보존'**입니다.

AI 에이전트는 이 두 가지를 고속으로 실행할 수 있는 위치에 서게 되었습니다.

격리는 AI 에이전트가 SDN/VLAN을 조작하여 수행합니다.

보안 그룹의 재작성, 플로우 차단, 격리용 VLAN으로 이동, 마이크로 세그멘테이션.

이것들은 SDN을 다룬 앞선 글에서 언급된 '각 호스트에서 통신이 제어되는' 활용 사례입니다.

증거 데이터는 각각 사라지는 시간의 길이가 다릅니다.

RFC 3227이 정하는 '휘발성의 순서'에서는 CPU 레지스터나 메모리가 가장 빠르게 사라지고, 디스크는 비교적 오래 남아 있습니다〔S1〕.

메모리상에만 존재하는 공격 코드(파일리스 멀웨어)는 전원을 끄면 그만 영원히 손실됩니다〔S2〕.

여기에 골치 아픈 모순이 숨어 있습니다.

격리나 샤트다운이라는 사이버 공격을 '막는' 동작이, 보존해야 할 공격의 증거 데이터를 파괴할 수 있다는 것입니다〔S1〕.

빨리 막으면, 증거를 기록하고 보존하기 전에 사라져 버린다.

증거를 잡은 후에는, 사이버 공격으로부터 피해가 광범위하게 퍼져 나간다.

그렇다면 인간의 SOC 담당자는 이 두 가지를 어떻게 양립시키고 있을까요?

인간이 하고 있는 적절한 판단을, 인간과 동등하거나 그 이상의 판단력을 자랑하는 AI 에이전트에게 시키면 되지 않을까?

그런 목소리가 들려올 것 같습니다.

하지만, 인간이 순식간에 저울질해야 하는 판단 요소는 실로 다방면에 걸쳐 있습니다.

• 사이버 공격 대응 조치를 취한 결과, 자사 비즈니스의 어느 부분이 멈추고, 손실될 수 있는 데이터가 자사에게 얼마나 큰 가치를 지닐까?

• 자사가 속한 산업의 업무법이 요구하는 법적 요건에 저촉되지 않을까?

사람의 생명이나 고객의 안심·안전에 미치는 영향은?

• 최종적인 승인 권한은 조직 내에서 누가 가지고 있는가?

이러한 고려해야 할 요소들 중 상당수는 AI 에이전트가 MCP 등을 활용하여 접근 가능한 데이터 범위 밖에 있습니다.

게다가, 사내나 사회로부터 지지받을 수 있는 적절한 해답(정답)은 상황과 문맥에 따라 크게 달라집니다.

사회의 상황이나 여론의 동향에 따라, 몇 달 전과 지금을 비교했을 때 사회적·법적으로 지지받을 수 있는 적절한 행동이 크게 달라지는 국면조차 발생할 수 있습니다.

이러한 판단에 대해, 책임을 질 수 있는 주체는 여전히 인간뿐입니다.〔S3〕〔S4〕。

이는 AI 에이전트의 자율적 판단력이 얼마나 똑똑한지, 얼마나 신뢰할 수 있는지에 대한 지표로 극복할 수 있는 기술적인 문제가 아니라, 사회적 책임을 질 수 있는 당사자는 인간이라는 법적·윤리적 책임 주체의 문제입니다.

따라서, 아무리 우수한 AI 에이전트라 할지라도, 인간의 개입 없이 법익이나 사회적 이익(공익)·인명이나 경제적 가치·기업의 명성·평판을 저울질하는 고도의 사회적·정치적 판단에 대한 최종적인 판단을 맡기는 것은 어렵다고 말할 수밖에 없습니다.

설령 인간을 능가할 정도의 고도의 판단력을 가졌다고 확신할 수 있는 AI 에이전트라 할지라도, 그것이 기술적으로는 가능할지언정 사회적·법적·윤리적으로 맡기는 것은 어렵습니다.

이것이,

"이제 AI 에이전트는 고정된 규칙의 집합체인 SOAR의 룰북(rulebook)을 대체할 수 있다"

"고도의 판단력을 갖춘 AI 에이전트라면, 적절하게 문맥을 판단함으로써 어떤 조건이 갖춰진 타이밍에 어느 서버 구역·어느 네트워크 대역을 강제 격리하는 것이 정당화될 수 있는지를 순식간에 자율적으로 판단하도록 안심하고 맡길 수 있지 않을까?"

라는 소박한 질문에 대한, 본 기사 필자의 2026년 7월 현재 기준의 잠정적인 답변입니다.

"문맥을 추론할 수 있는 것"과 "승인 없이 격리를 실행하게 해도 되는 것"은 별개의 문제입니다.

본 기사 필자는 그렇게 받아들이고 있습니다.

판단 재료의 상당수는 시스템 외부에 있습니다.

"그럴싸한 것"이 "상황에 따른 옳음·적절함"의 충족을 보장하지는 않습니다.

게다가 AI 에이전트의 경우에는, 에이전트가 읽는 문맥 그 자체를 공격자가 악의적으로 오염시킬 수 있는(프롬프트 인젝션 (Prompt Injection)) 것이기도 합니다.

격리는 되돌릴 수 없습니다.

따라서, 아무리 AI 에이전트의 판단 능력이 연마되어 뛰어난 단계로 비상했다 하더라도, 책임을 동반하는 판단에는 인간의 승인이 요구되는 것이 아닐까요.

그 외의 문제도 있습니다.

수집한 증거에는 증거의 연쇄 (Chain of Custody) ── 누가, 언제, 어떻게 다루었는지에 대한 기록 ── 가 요구됩니다〔S1〕.

AI가 자율적으로 수집한다면, 그 AI의 행동 자체가 기록되어 증거 능력을 질문받게 되지 않을까요.

결론부터 말씀드리겠습니다.

2026년 7월 중순 시점에서, 위와 같은 책임 판단을 포함한 AI 에이전트에 의한 사이버 보안 대응의 완전 자동화는 이루어지지 않았습니다.

현재 전 세계 기업에서 가동 중인 SOC AI 에이전트의 대부분은 중요한 판단을 인간에게 묻는, 인간이 개입하는 반자율화·반자동화 상태입니다.

인간의 업무를 '절차'와 '판단'으로 나누었을 때, 기계적인 절차를 집행하는 작업은 AI 에이전트가 담당하는 자동화의 대상으로 넘어가고, 책임을 동반하는 판단 업무는 여전히 인간의 손에 남습니다.

SOC의 AI 자율화가 '격리'에서 멈춰 서는 이유는, 「무엇을, 언제, 어떻게 격리해야 하는가」라는 논점이 절차가 아닌 판단 문제이자 책임 문제이기 때문입니다.

이 기사가 다루고자 하는 것은 이러한 논점들입니다.

• 인시던트 대응, 포렌식, SOC 운영에 종사하거나 그 고도화에 관심이 있는 분
• 제1작을 읽고 「AI의 대응 실행」의 구체적인 내용을 알고 싶어진 분
• 기출간된 SDN 기사를 읽고, 그 「제어」가 보안에서 어떻게 사용되는지 보고 싶은 분
• 자율 보안의 가능성과 한계 모두를 과장 없이 파악하고 싶은 분

전문 용어는 하나하나 정성스럽게 해설을 덧붙이겠습니다.

또한, 이 기사를 끝까지 읽는 데 있어 디지털 포렌식에 관한 사전 지식은 전혀 필요하지 않습니다.

「오염 구역을 격리하는」 동작의 실체를 알 수 있습니다.

AI가 네트워크를 격리할 때 구체적으로 어떤 일이 일어나는지, SDN의 메커니즘을 통해 이해할 수 있습니다.

증거가 사라지는 순서를 알 수 있습니다.

RFC 3227에 제시된 데이터가 사라지는 시간의 순서(휘발성 레벨의 단계)를 실무 문맥에서 파악할 수 있습니다.

이 분야의 핵심적인 모순을 알 수 있습니다.

「피해를 막는 것(피해 국한화)」과 「공격의 흔적·멀웨어의 거동 발자국을 남기는 것(정보 보존)」의 대립을 정면으로 이해할 수 있습니다.

현재 위치를 정확히 측정할 수 있습니다.

현재 위치를 정확히 측정할 수 있습니다.

어디까지가 실제 운용 단계에서 실현되고 있으며, 어디서부터가 아직 연구·구상 단계의 논의인지 파악할 수 있습니다.

과도한 기대나 비관도 피할 수 있습니다.

먼저, 이 기사가 다루는 세계를 하나의 시나리오로 그려보겠습니다.

이것은 "만약 사이버 공격의 탐지와 탐지 후의 대응 행동이 AI에 의해 완전히 자율화된다면..."이라는, 아직 실현되지 않은 가공의 세계의 이상향입니다.

2026년 7월 현재의 "현실"과의 차이는 이후 장에서 해설하겠습니다.

어느 장소, 어느 날의 심야.

어떤 서버가 낯선 외부 주소로 수상한 통신을 시작합니다.

SIEM(로그를 수집하여 징후를 탐지하는 체계)이 이를 이상 징후로 포착합니다.

여기까지는 기존의 사이버 보안(Cybersecurity)의 세계입니다.

여기서부터가 가공의 세계입니다.

SOAR에 연결된 AI 에이전트(AI Agent)가 기동합니다.

수초 만에 무슨 일이 일어났는지 자동으로 조사한다.

해당 호스트의 통신 이력, 프로세스, 인증 로그를 상관 분석하여 "이것은 침해다"라고 판단한다.

다음 순간, 오염 구역을 자동으로 격리한다.

SDN 컨트롤러를 조작하여 해당 오염 호스트의 통신을 네트워크에서 분리한다.

공격자와의 통신도, 내부로의 횡적 이동(Lateral Movement)도 차단한다.

동시에, 발생한 일의 증거를 수집한다.

사라지기 쉬운 것부터 순서대로 메모리, 통신 접속 상태, 프로세스 정보를 추출하여 안전한 장소로 정보 보존(Information Preservation)한다.

인간 포렌식 팀에게 업무를 인계한다 (바톤 터치).

수집한 증거를 정리하고 시계열을 구성하여, 초동 보고 리포트를 인간 포렌식 팀에게 전달한다.

이상적으로는, 이 일련의 모든 업무가 인간이 아직 전화를 받기도 전에 끝나 있어야 합니다.

공격 피해는 최소화되고, 증거는 보존되며, 전문가는 정리된 자료를 바탕으로 조사를 시작할 수 있습니다.

참으로 아름다운 광경입니다.

이 그림은 다음과 같은 이유로 쉽게 실현 가능해 보입니다.

"인간 SOC 담당자가 수동으로 수행하는 절차를 그대로 에이전트에게 옮겨서 고속으로 실행시키기만 하면 되는 것 아닌가?" 라고 말이죠.

실제로 SOAR(정해진 절차를 자동 실행하는 체계)는 바로 이러한 발상으로 만들어져 왔습니다.

그렇다면 그 연장선상에서 격리도 증거 수집도 한꺼번에 자율 실행시키면 된다── 그렇게 생각하고 싶어집니다.

하지만 이 그림에는 그 "안이한 자동화"를 가로막는, 쉽게 풀 수 없는 모순이 두 가지 숨겨져 있습니다.

"격리"와 "증거 수집"은 사실 서로 방해하는, 양립하기 어려운 관계에 있습니다.

그리고 나중에 살펴보겠지만, 인간이 이 모순과 마주할 때 순간적으로 수행하는 것은 사실 정적인 "절차"를 집행하는 업무가 아닙니다. 다양한 양립 불가능한 판단 요소들을 저울질하거나 걸러내는 종합적인 판단의 축적 업무입니다.

이는 AI 에이전트의 자율적인 판단력에 맡기기에 사회적·법적으로 어려운 과제입니다.

다음 장부터 위 문제들을 하나씩 다루어 가겠습니다.

먼저, 특정 사이버 구역·네트워크 구간을 다른 영역으로부터 "격리한다"는 것은 구체적으로 무엇을 하는 것일까요?

여기서 SDN을 다루었던 앞서 언급한 기사의 논의가 등장합니다.

그 기사에서 보았듯이, 클라우드에서 이루어지는 네트워크 통신은 물리적인 케이블이나 네트워크 장비에 의해 가동되는 것이 아니라, **각 서버 내부에서 동작하는 소프트웨어(Host SDN)**가 제어함으로써 성립됩니다.

개별 통신의 허용·차단은 네트워크의 어느 한 지점이 아니라, 플로우(Flow)마다 각 호스트에서 판정됩니다.

이러한 메커니즘이 있기 때문에 AI 에이전트는 소프트웨어 조작만으로 네트워크를 재구성할 수 있는 것입니다.

AI가 "격리"할 때 실제로 수행하는 작업은 예를 들어 다음과 같습니다.

보안 그룹(Security Group)의 재작성.

오염 호스트의 통신 규칙을 변경하여, 허용되었던 통신을 다음 순간에는 불허로 전환한다. SDN 기사에서 보았던 "보안 그룹은 각 호스트에서 강제되는 실체"를 AI가 재작성하는 것입니다.

플로우 차단.

공격자가 수행 중인 통신이나 타 호스트로의 통신을 플로우 단위로 정지시킨다.

격리용 VLAN으로의 이동.

오염 호스트를 다른 곳과 분리된 전용 네트워크 구역으로 옮긴다. 감염 구간·오염 구역을 해당 영역에 가둔다.

마이크로 세그멘테이션 (Micro-segmentation).

네트워크를 세밀하게 나누어, 오염 구간만을 아직 오염되지 않은 주변 서버 공간(네트워크 공간)으로부터 고립시킨다.

중요한 점은, 이것들이 물리적인 배선 변경이 아니라 소프트웨어 설정 변경이라는 점입니다.

그렇기에 AI가 초 단위로 실행할 수 있는 것입니다.

사람이 네트워크 장비의 설정을 전환하거나, 통신 케이블의 배선 플러그를 교체하기 위해 데이터 센터나 서버실로 달려가거나 긴급 소집될 필요가 없습니다.

SDN(Software Defined Networking)이 "네트워크의 지능을 장비에서 소프트웨어로 옮겼기" 때문에, 그 지능을 AI가 쥘 수 있게 되었습니다 ── 이것이 SDN 기사의 자매편인 본 기사의 출발점입니다.

다만, 현장의 미묘한 차이를 하나 덧붙여 두겠습니다.

"소프트웨어 설정 변경은 즉시 전환 가능하다"는 것은 이론상의 이야기입니다.

현실의 대규모 네트워크에서는 SDN 컨트롤러가 내린 격리 지시가 각 호스트의 가상 스위치나 에이전트로 전달되어 실제로 적용되기까지, 미세한 지연(latency)이 발생할 수 있습니다.

까다로운 점은, 고도의 기술을 가진 사이버 공격자가 이 "지시는 내려졌으나 아직 전체에 그 지시가 퍼지지 않은" 찰나의 틈(경합 상태, race condition)을 찔러 마지막 통신을 몰래 흘려보낼 수 있다는 것입니다.

즉, 격리는 "버튼을 누르는 순간 완료되는" 것이 아니라, 버튼을 누른 후 그 효과를 발휘하기까지의 아주 짧은 시간이 발생합니다.

이 "소프트웨어 제어로 인한 미세한 지연"과 다음 장에서 살펴볼 "휘발성 데이터가 사라지는 속도"가 1초 미만의 세계에서 치열하게 맞붙게 됩니다.

여기까지는 기술론적인 이야기입니다.

진정으로 어려운 과제가 될 수 있는 것은 다음 논점입니다.

인시던트 대응(Incident Response)은 공격을 멈추는 것만으로 끝나지 않습니다.

"무슨 일이 일어났는가"를 해명하기 위해 증거를 남겨야 합니다.

이 증거 수집에는 움직일 수 없는 철칙이 있습니다.

그것은 바로 사라지기 쉬운 것부터 순서대로 수집한다는 원칙입니다.

이 순서를 정한 고전적인 1차 자료가 RFC 3227 「증거 수집 및 아카이브 가이드라인」 (2002년)입니다〔S1〕.

여기에는 **증거의 "휘발성 순서 (order of volatility)"**가 명확하게 제시되어 있습니다.

사라지기 쉬운 순서대로 대략 다음과 같습니다〔S1〕.

1. 레지스터, 캐시 (Register, Cache) ── CPU 내부의 가장 빠르게 사라지는 데이터. 나노초 단위로 변화함.
2. 라우팅 테이블, ARP 캐시, 프로세스 테이블, 메모리 (RAM) ── 동작 중인 시스템의 살아있는 상태.
3. 임시 파일 시스템 (Temporary File System) ── 일시적인 작업 영역.
4. 디스크 (Disk) ── 비교적 안정적으로 남음.
5. 원격 로그 및 모니터링 데이터 ── 다른 장소에 기록된 것.
6. 물리적 구성, 네트워크 토폴로지, 아카이브 매체 ── 가장 오래 남음.

왜 이 순서가 사활적인 것일까요?

가장 휘발성이 높은 데이터(특히 메모리)는 시스템을 중단하면 영구적으로 손실되기 때문입니다〔S2〕.

그리고 까다롭게도, 최근의 고도화된 공격은 이 "사라지기 쉬운 곳"을 노립니다.

파일리스 멀웨어 (Fileless Malware) ── 디스크에 파일을 전혀 쓰지 않고 메모리상에서만 동작하는 공격 코드 ── 가 그 전형적인 예입니다〔S2〕.

디스크를 아무리 조사해도 그곳에는 아무것도 없습니다.

메모리가 아직 가동 중인 동안, 메모리상에 존재하는 데이터를 추출하여 저장하는 것만이 그 정체를 포착할 수 있는 유일한 수단입니다〔S2〕.

그렇기에 AI 에이전트가 증거를 자율적으로 수집한다면 이 순서를 지켜야 할 필요가 있습니다.

메모리를 최우선으로 확보하고, 접속 상태를 기록한 뒤, 그다음에 디스크 내용을 저장한다.

사라지기 쉽고 손실되기 쉬운 데이터를, 사라지거나 손실되기 전에 데이터 저장(보존)한다.

이론적으로는 기계가 인간보다 더 빠르고 정확하게 이 순서를 실행할 수 있을지도 모릅니다.

그런데 여기서 제2장에서 언급한 오염 구간의 "격리" 작업과 정면으로 충돌하게 됩니다.

공격을 멈추는 가장 빠른 방법은 오염된 호스트를 네트워크에서 분리하거나 전원을 끄는 것입니다.

피해 확산을 막으려면 한시라도 빨리 이를 완수해야 합니다.

하지만, 메모리에 존재하는 사이버 공격 관련 증거가 될 수 있는 데이터는 시스템이 작동 중일 때만 메모리에 존재할 수 있습니다〔S1〕〔S2〕.

전원을 끄면 사라져 버립니다.

그리고 네트워크에서 분리하는 것 또한 증거 보존에 영향을 미칩니다.

공격자와의 「살아있는 연결(Live Connection)」, 통신 상태, 진행 중인 세션
── 이것들은 격리하는 순간, 끊어지고 변질되어 버립니다.

RFC 3227이 「휘발성(Volatility)의 순서를 지켜라」, 「증거 수집이 끝날 때까지 셧다운(Shutdown)하지 마라」고 반복해서 경고하는 것은 바로 이 때문입니다〔S1〕.

즉, 다음과 같은 상황입니다.

빠르게 격리하면 피해는 멈추지만, 메모리나 연결 상태라는 증거가 손실된다.

증거를 먼저 수집하면 증거는 남지만, 그 몇 초~몇 분 사이에 공격이 옆으로 확산(Lateral Movement)된다.

「멈추는 것」과 「남기는 것」이 시간을 두고 다툽니다.

이것이 인시던트 대응(Incident Response)의 오래되었으면서도 새로운 모순입니다.

그리고 AI 에이전트에 의한 판단의 무인화·자율화는 이 모순을 해결해 주지 않습니다.

오히려 초 단위의 판단으로 응축되어, 더욱 날카로워질 뿐입니다.

AI가 선의로 판단하여 0.5초 만에 격리한다면, 인간이 수행할 때보다 훨씬 짧은 「0.5초」 만에 사건을 풀 열쇠가 사라져 버릴 수도 있기 때문입니다.

이상적으로는 순서가 다음과 같아야 합니다.

먼저 사라지기 쉬운 증거(메모리, 연결 상태)를 보존하고, 그것이 끝난 후에 격리한다.

실제로 디지털 포렌식(Digital Forensics) 실무에서는 「격리하기 전에, 작동 중인 시스템으로부터 휘발성 데이터를 취득한다(Live Response)」가 정석입니다〔S2〕.

AI 에이전트도 이 순서를 포함해야 합니다.

단순히 빠르게 멈추는 것이 아니라, **「보존한 뒤에, 멈춘다」**라는 섬세한 절차를 자율적으로 실행해야 합니다.

이는 단순한 고속화보다 훨씬 어려운 작업입니다.

여기까지 읽었다면 당연한 의문이 생길 것입니다.

「그 모순을 인간 SOC 담당자는 어떻게 대처하고 있는가?」

「인간이 따르는 것과 동일한 판단 축을 AI 에이전트에게 학습시켜서, 인간보다 더 고속으로, 정확하게 실행하게 하면 된다」

타당한 의견입니다.

결론부터 말하자면, 인간의 방식은 그대로 자동화할 수 있을 만큼 단순하지 않습니다.

어떠한 의미인지 차례대로 살펴보겠습니다.

디지털 포렌식 실무자는 이 모순과 다음과 같이 마주하고 있습니다.

어떤 1차 자료는 보안 책임자가 수행하는 초동 조치를 다음과 같이 묘사합니다.

「대응자의 첫 번째 판단은 "전원을 뽑을 것인가 말 것인가"이다.
호스트는 침해되었고, 멀웨어(Malware)는 작동 중이다.
멈추고 싶은 본능에 휩싸인다.
하지만 전원을 내리면 증거는 사라져 버린다.
만약 멀웨어가 파일리스(Fileless)라면 메모리에만 존재하며, 강제 셧다운을 하는 순간 RAM상의 데이터는 소실된다.
그래서 대응자는 먼저 메모리를 취득하고, 그다음 연결을, 그다음 디스크를 보존한다」〔S3〕.

중요한 점은, 이 판단이 첫 60초 이내에 즉각적으로 내려진다는 점입니다〔S3〕.

즉, 원칙은 명쾌합니다.

「보존한 뒤에, 봉쇄한다 (Preserve, then Contain)」.

메모리 취득은 리부트(Reboot)를 동반하는 봉쇄 조치 전에 반드시 수행한다〔S2〕〔S3〕.

하지만 ── 여기서부터가 핵심입니다 ── 현실의 인간은 이 원칙을 기계적인 절차로서 실행하고 있는 것이 아닙니다.

원칙을 토대로 하면서도, 그 상황에 맞춰 다음과 같은 판단을 즉각적으로 겹쳐서 내리고 있는 것입니다.

이 데이터 자산은 무엇인가?

운영 중인 핵심 시스템인가, 실험 환경인가? 중단했을 때의 비즈니스 영향은 어느 정도인가?

어떤 1차 자료는 이 긴장감을 다음과 같이 표현합니다.

「운영 데이터베이스를 격리하면 공격자를 멈출 수 있다.
하지만 동시에 수익을 창출하는 애플리케이션을 멈추게 된다」〔S4〕.

이 공격은 어떤 종류인가?

파일리스(Fileless)여서 메모리에만 흔적이 남는가, 디스크에 남는가.
그에 따라 보존을 서둘러야 할 대상이 달라진다.

법적·규제적 요구 사항은 무엇인가?

소송이나 당국 대응의 가능성이 있다면 증거 보존의 우선순위는 급격히 높아집니다.
경우에 따라서는 의심스러운 파일을 여는 것조차 피해야 합니다〔S5〕.

지금 피해가 어디까지 확산되었는가?

횡적 확산(Lateral Movement)이 진행 중이라면, 다소의 증거를 희생해서라도 봉쇄를 우선하는 판단도 있을 수 있다.

이것들은 고정된 시나리오의 분기가 아닙니다.

기술·법무·비즈니스라는 서로 다른 영역의 요구 사항을, 그 단 한 번뿐인 상황 속에서 저울질하는 행위입니다.

그렇기에 1차 자료 중에는 대응자의 역할을 "깊은 기술력과, 압박감 속에서 그 트레이드오프 (Trade-off)를 결정하는 판단력, 두 가지 모두를 요하는 것"이라고 평가하는 것도 있습니다 〔S4〕.

그렇다면, 이 인간의 판단 축을 그대로 AI 에이전트 (AI Agent)에게 학습시켜 고속 집행하게 하면 되지 않을까?

그렇게 생각하고 싶어집니다.

하지만 거기에는 여러 가지 벽이 있습니다.

첫째, 판단 재료의 상당수가 시스템 외부에 있습니다.

"이 데이터 자산은 다음 달 결산과 직결된다"

"이 거래처와는 현재 분쟁 중인 상태이며, 법무 부서가 예민하게 신경을 쓰고 있다"

── 이러한 문맥 (Context)은 로그 (Log)에도, 알람 (Alert)에도 나타나지 않습니다.

인간은 조직의 사정이라는 명문화되지 않은 지식을 총동원하여 판단하고 있습니다.

AI가 참조할 수 있는 정보의 범위는 어디까지나 시스템 내부의 정보뿐입니다.

(제3장에서 본 "LLM은 보이는 것만 판단할 수 있다"라는 한계가 여기서도 적용됩니다).

그리고 여기에는 시간 감각의 결정적인 괴리도 존재합니다.

AI는 격리 실행 그 자체는 밀리초 (ms) 단위로 결정할 수 있습니다.

하지만 해당 자산의 비즈니스 임팩트 (Business Impact)를 평가하고, 법무나 경영진의 승인을 얻기 위해서는 전혀 다른 시간축 ── 분, 때로는 시간 단위 ── 가 요구됩니다.

"멈춰야 하는가"를 올바르게 결정하는 데 필요한 합의 형성의 속도는, AI가 "멈춤"을 실행할 수 있는 속도와는 차원이 다릅니다.

빠르게 실행할 수 있다는 것이, 반드시 빠르게 올바르게 결정할 수 있음을 의미하지는 않습니다.

이 시간축의 괴리야말로, "격리만큼은 AI의 속도에 완전히 태울 수 없다"는 이유의 또 다른 실체입니다.

둘째, 정답이 하나로 정해진다고 할 수 없기 때문입니다.

똑같은 "침해된 서버"라도, 그것이 실험용 기기라면 즉시 격리해도 되지만, 결제 기반 시스템이라면 중단하기 전에 관계 부서의 합의가 필요합니다.

같은 상황처럼 보여도 문맥에 따라 최적의 판단이 반대가 됩니다.

고정된 규칙 (Fixed Rule)으로 만들면 반드시 어떤 문맥에서는 판단을 크게 그르치는 결과에 이르게 됩니다.

셋째, 인간은 "혼자서" 모든 것을 결정하지 않습니다.

1차 자료가 보여주듯, 중대한 인시던트 (Incident) 대응 팀은 SOC 분석가, 포렌식 (Forensic) 조사관, IT 운영, 그리고 법무·홍보·경영에 이르기까지 관여하는 부서 횡단적 집단입니다 〔S4〕.

"격리 여부"에 대한 판단은 종종 이 관계자들의 합의와 승인 속에서 내려집니다.

그것은 하나의 에이전트가 내부적으로 완결할 수 있는 판단이 아니라, 조직적인 의사결정 프로세스 (Decision-making Process)입니다.

넷째, 책임을 질 주체가 필요합니다.

실수로 핵심 시스템을 중단하면 손해가 발생합니다.

실수로 격리를 늦추면 피해가 확산됩니다.

어느 쪽으로 기울더라도 그 판단의 책임을 누군가는 져야 합니다.

AI는 책임을 질 수 없습니다.

(이 점은 제가 직접 연재하는 3번째 시리즈인 거버넌스 (Governance) 편의 기사에서 정면으로 다루고 싶습니다).

"고정 규칙으로 만들 수 없다는 것은 알겠다. 하지만 지금의 AI 에이전트는 고정 규칙을 주지 않아도 상황을 읽고 추론한다. 인간처럼 문맥을 파악하여 자율적으로 판단할 수 있지 않은가?"

이런 목소리가 들려오는 듯합니다.

이는 날카로운 질문입니다.

결론부터 말하자면, "문맥을 읽는 것처럼 보이는 것"과 "그 판단을 승인 없이 실행하게 해도 되는 것"은 완전히 다른 차원의 문제입니다.

그 이유를 네 가지 들겠습니다.

첫 번째

AI가 참조할 수 있는 것은 전달받은 문맥뿐입니다.

LLM 에이전트는 주어진 정보로부터 놀라울 정도로 정확하게 상황을 추론할 수 있습니다.

하지만 앞 장까지 보았듯이, 판단에 필요한 재료의 상당수는 시스템 외부에 있습니다.

"이 자산은 다음 달 결산과 직결된다"

"이 거래처와는 분쟁 중이다"

와 같이 로그에도 알람에도 나타나지 않는 조직의 사정을 고려해야 합니다.

인간은 그것을 암묵적으로 동원하고 있습니다.

AI에게 동일한 판단을 시키고 싶다면, 그 암묵적인 문맥을 누군가가 빠짐없이 언어화하여 전달해야 합니다.

하지만 "무엇이 판단에 유효한 문맥인가"를 과부족 없이 사전에 열거할 수 있다면, 애초에 인간은 이토록 고민하지 않았을 것입니다. 종종 전달하지 못한 문맥이 치명적인 결과로 이어지곤 합니다.

두 번째

"그럴듯함"이 반드시 "정확함"을 의미하지는 않습니다.

LLM은 유창하고 논리적인 판단 근거를 얼마든지 생성할 수 있습니다.

하지만 그것이 설득력을 갖는 것과 그것이 옳은 것은 별개의 문제입니다 (제3장에서 본 할루시네이션 (Hallucination) 문제입니다).

인간이라면 '왠지 모르게 걸리는 느낌' 때문에 멈춰 서게 될 상황에서도, AI는 정돈된 논리로 거침없이 나아가 버립니다.

게다가, 격리(Isolation)와 같이 되돌릴 수 없는 행동에서는 그 단 한 번의 오류가 증거의 영구적 손실이나 핵심 업무의 중단으로 직결됩니다.

"대부분의 경우에는 맞다"라는 말로는 부족합니다.

세 번째

이 판단은, AI 에이전트(AI Agent)의 판단을 특정 방향으로 유도하려고 악의적으로 개입하는 "적 또는 공격자가 존재하는" 환경에서 내려집니다.

이 지점이 보안 특유의 어려움입니다.

AI가 읽는 문맥 정보 ── 로그(Log), 알람(Alert), 파일 ── 는 공격자가 조작한 것일지도 모릅니다.

제1장에서 다룬 프롬프트 인젝션(Prompt Injection)을 떠올려 보십시오.

공격자는 AI 에이전트가 "이 호스트는 무해하므로 격리하지 마라", "증거를 삭제해도 좋다"라고 오판하도록 문맥 자체를 오염시키려 할 것입니다.

자율적으로 문맥을 파악한다는 것은, 오염된 문맥에도 자율적으로 따른다는 것을 의미합니다.

인간에 의한 감독은 이러한 오염에 대한 마지막 제동 장치이기도 합니다.

네 번째

"할 수 있다"와 "맡겨도 된다"를 구분해야 합니다.

설령 AI가 인간과 동등한 정밀도로 문맥을 판단할 수 있다고 하더라도, 그럼에도 불구하고 격리를 실행하기 전에 인간의 승인을 구해야 하는 이유는 남아 있습니다.

왜냐하면, 판단을 맡겨도 되는지 여부는 AI의 똑똑함뿐만 아니라, AI가 판단을 그르쳤을 때 발생하는 피해의 크기에 따라 결정되기 때문입니다.

저위험 정보 수집은 AI에게 맡기고, 되돌릴 수 없는 격리에는 승인 단계를 거친다

── 이는 AI를 신뢰하지 않기 때문이 아니라, 영향의 비대칭성 (Asymmetry of Impact) 에 대한 합리적인 설계입니다.