이 기사의 주제는 다음의 한 가지 질문입니다.

AI Agent의 능력이 향상되는 시대에, 인간에게는 어떤 역할이 남을까요?

여기서 말하는 AI Agent란, 여러분이 사용하시는 ChatGPT나 Claude와 같은 대화형 생성 AI가 단순히 응답을 하는 것에 그치지 않고, 스스로 도구를 호출하고, 코드를 작성하며, 외부 시스템을 조작하고, 판단하여 실행까지 일관되게 수행하는 더욱 진화한 AI를 가리킵니다.

• 소프트웨어 개발
• 업무 자동화
• 사이버 공격 탐지 및 대응
• 고객 대응
• 자산 운용

이러한 영역의 실무에서 AI Agent가 담당하는 영역이 조금씩, 그러나 착실하게 넓어지고 있습니다.

이때, 당연한 질문이 떠오릅니다.

"AI Agent가 이 정도로 할 수 있다면, 인간이 수행해야 할 역할은 과연 남아 있을까?".

이 질문은 AI Agent 시대를 살아가는 우리에게 피할 수 없는 문제입니다.

AI Agent의 능력이 아무리 향상되더라도 혼동해서는 안 될 4가지 논점이 있습니다.

순서대로 AI Agent의 실무 장면을 통해 제시하겠습니다.

AI Agent가 사이버 공격의 징후를 탐지했을 때, AI Agent는 감염된 서버 구역을 즉시 인간의 개입 없이 완전 자동화로 격리할 수 "할 수 있습니다".

하지만 그 격리가 실제 운영 중인 업무 시스템을 중단시켜 기업에 큰 경제적 손실을 줄 수 있는 경우, AI Agent의 판단으로 승인 없이 "해도 되는지" 여부는 전혀 다른 차원의 문제입니다.

AI Agent가 생성한 코드가 정상적으로 작동하고 있는 상황을 떠올려 보십시오.

정상적으로 작동하는 것처럼 보이더라도, 그 거동은 인간 설계자·개발자·운영자가 의도한 동작(설계 사양)에서 벗어나 있을지도 모릅니다.

외견상 그럴듯하고 논리적으로 모순 없이 움직이고 있다는 사실이, 그 거동(동작)이 인간 설계·개발자가 의도한 대로 움직이고 있다는 것을 반드시 의미하지는 않습니다.

철학에서는 오래전부터 "사실(is)로부터 규범(ought)을 도출할 수는 없다"는 문제에 대해 논의가 쌓여왔습니다.

이 기사에서 서술하는 「사실」과 「규범」의 구분도 이러한 문제의식과 맥을 같이 합니다.

AI Agent는 예를 들어, "이 통신은 악의적인 malware로부터 발신되었을 가능성이 높다"와 같이 상황 평가(사태 인정, 추론)를 수행하는 능력을 획득하고 있습니다.

하지만 상황을 평가하는 사실 인정 능력과, 그 상황 하에서 법적·사회 규범에 비추어 요구되는 상황 대처 행동을 적절히 판단할 수 있는 능력은 전혀 다른 능력입니다.

예를 들어, 사이버 보안의 최전선(front line)에 서 있는 SOC(Security Operation Center)에서 가동되는 AI Agent가 포착한 어떤 통신에 대해, "이 통신은 공격의 징후를 가진다"라고 사실 판단(상황 평가)을 적절히 수행하는 데 성공했다 하더라도, "이 통신을 차단해야 하는가"를 적절히 판단할 수 있는지는 또 다른 문제입니다.

왜냐하면, 후자는 법령 판단이나 사회 규범, 통신을 차단했을 때 발생할 무수한 영향 효과를 판단하는 능력이 요구되기 때문입니다.

예를 들어, 그 통신을 인간의 판단을 거치지 않고 완전 자동화로 즉시 차단했을 때, 그 대처 행동이 법령상 문제가 없고 사회 통념상으로도 적절한 대처 행동이었다고 가정해 봅시다.

하지만 가동 중인 자사의 서비스 제공 활동을 백업 서버로 전환하기 전에 그 통신을 차단해 버림으로써, 자사나 고객 기업에 막대한 경제적 손실을 주는 것이 합리적으로 예측된다면 어떨까요?

훗날 자사의 주가와 사회적 평가의 실추를 초래하여 시가총액이 급락하고, 그 결과 주주 대표 소송이 제기되는 시나리오가 높은 확률로 예상될지도 모릅니다.

물론 백업 서버로 전환하기까지의 몇 초, 수십 초, 몇 분 동안 악의적인 통신을 차단하지 않고 방치함으로써 사이버 공격으로 입게 되는 데미지는 심화될 수 있습니다.

이 경우, 그 통신을 즉시 차단함으로써 얻을 수 있는 이익과 즉시 차단함으로써 잃게 되는 이익 중 어느 쪽을 어떤 기준(평가 축, 척도)으로 저울질해야 하는가는, 많은 판단 요소가 얽힌 복잡하고 고도의 정치적 판단(경영 판단)이 요구되는 사안이 될 것입니다.

이러한 이유로, 설령 공격으로 판정되는 통신이라 할지라도, 그것이 고객의 중요한 업무 통신을 포함하는 경우, 차단 여부에 대한 판단 결과는 사실 인정(fact-finding)의 내용으로부터 자동으로 도출되는 기계적인 결론이 아닙니다.

메모리상에서 구동되는 malware(악성코드)를 즉시 정지시키는 것을 우선해야 할지, 아니면 메모리상의 공격 흔적을 기록(정보 보존)한 후에 공격을 멈춰야 할지.

어느 쪽을 우선해야 하는가에 대한 고도의 '판단'이 요구됩니다.

AI Agent는 '공격의 증거를 사라지기 쉬운 것부터 순서대로 보존한다'라는 절차를 인간보다 훨씬 빠르게, 그리고 정확하게 수행할 수 있습니다.

하지만 그러한 행동을 취한 결과, 메모리상의 malware에 관한 정보를 디지털 포렌식 (Digital Forensics) 정보 보존 업무로서 실시하는 동안, malware에 의한 감염 구역의 확대와 피해의 확대를 허용하게 될지도 모릅니다.

반면, 즉시 메모리상의 malware 동작을 봉쇄하면, 정보를 보존하지 못한 채 공격의 증거가 소실되는 결과가 발생할 수도 있습니다.

이러한 '애초에 지금 증거 보존을 우선해야 하는가, 공격의 봉쇄를 우선해야 하는가'는 고도의 경영 판단을 수반하는 것이어야 합니다.

이상, 4가지 '혼동해서는 안 되며 서로 구별해야 할 문제'는 AI Agent의 능력 우열에 의해 해소되는 논점이 아니라, AI Agent의 능력이 아무리 진화하고 향상되더라도 혼동해서는 안 되는 인식론상의 논점입니다.

AI Agent가 아무리 똑똑해지더라도, 이 4가지 논점 그 자체는 사라지지 않습니다.

AI Agent가 똑똑해진다고 해서 인간의 일이 줄어드는 것은 아닙니다.

AI가 똑똑해지면 될수록 '무엇을 해도 되는가'를 결정하는 책임은 오히려 인간에게 집중되는 것이 아닐까요.

AI Agent 시대란 인간의 책임이 가벼워지는 시대가 아니라, 인간이 담당해야 할 '판단'과 '설명 책임 (Accountability)'에 요구되는 사회적 역할의 무게가 이전보다 더욱 높아지는 시대입니다.