본 기사는 사이버 보안에서의 AI 활용을 다루는 연재의 제3작이자 완결편입니다.

• 첫 번째 기사에서는 SOC(Security Operations Center, 보안 운영 센터)에 LLM과 AI 에이전트가 도입되어, "사람이 경고(Alert)를 수동으로 처리하는" 곳에서 "AI가 조사하고 사람이 감독하는" 곳으로 변하고 있음을 살펴보았습니다.

• 두 번째 기사에서는 해당 AI 에이전트가 SDN/VLAN을 조작하여 오염 구역을 자동 격리하고, 포렌식(Forensics) 증거를 자율적으로 수집하는 것 ── 그것이 왜 어려운가를 다루었습니다. 기술적으로는 "할 수 있다"고 하더라도, "언제·무엇을 격리해야 하는가"는 절차가 아닌 판단이며, 되돌릴 수 없는 그 결정을 AI에게 승인 없이 맡겨도 되는가라는 질문입니다.

마지막으로 남는 질문은 무엇인가.

그것은 기술이 아닙니다.

**"AI가 자율적으로 움직여 무언가 일이 발생했을 때, 누가 책임을 지는가"**라는 거버넌스(Governance, 통치)의 질문입니다.

연재 최종회인 본 기사는 이 연재 시리즈, 즉 위의 질문에 대한 잠정적인 답변을 제시하는 형태로 마무리합니다.

지난 기사(연재 2회차)의 마지막에서, 고대 로마의 시인 유베날리스의 질문을 제시했습니다.

Quis custodiet ipsos custodes? (그 파수꾼 자신을, 누가 감시하는가?)

네트워크를 감시하는 AI라는 "새로운 파수꾼".

그 파수꾼을, 누가 감시하는가?

누가, 사이버 공격에 의해 오염된 구역을 강제 격리하는 실행 버튼("방아쇠")을, 그 버튼을 누름으로써 발생할 수 있는 모든 결과 책임(비즈니스에 미치는 영향, 증거 보존 작업에 미치는 영향 등)에 대한 모든 책임을 떠안은 상태에서, 누르는 것을 맡길 수 있는가?

이 제3작은 이러한 질문에 정면으로 답을 시도하는 회차입니다.

본 기사는 크게 두 부분으로 나뉩니다.

전반부는 실무편입니다.

먼저, 거버넌스와 보안의 차이를 정리하고, EU AI Act와 NIST AI RMF, 그리고 일본의 가이드라인이 무엇을 요구하고 있는지 살펴봅니다.

그 후, 실무의 핵심인 「행동별 권한 설계」

── 어떤 조작을 AI에게 맡기고, 어디에서 인간의 승인을 거칠 것인가

── 를 구체적으로 제시합니다.

여기까지를 통해, 「자율 SOC를 어떻게 거버넌스할 것인가」라는 논점에 대해 실무적인 전망을 얻을 수 있습니다.

후반부는 발전편입니다.

여기서부터는 한 걸음 더 들어가 자율 에이전트 고유의 논점을 심도 있게 파고듭니다.

"인간의 승인이 형식화되는 함정(자동 추인)"

"AI 에이전트는 누구의 권한으로 움직이는가(비인간 아이덴티티)"

"오판에 대한 법적 책임은 누구에게 귀속되는가"

그리고 마지막으로, **「차라리 AI 에이전트에게 법인격을 부여하면 어떨까」**라는 법학자들 사이에서 30년 이상 이어져 온 최전선의 논의와, **「그렇다면 법인격을 부여하면 오염 구역의 강제 격리와 같이 결과 책임을 수반하는 판단도 AI가 완전히 자율적으로 집행하고 담당하게 해야 하는가"**라는 본질적인 논점까지 파고듭니다.

( 결론은 이미 위에서 언급한 바와 같이 "아니오" 입니다 )

SOC를 소재로 하고 있지만, 여기서 서술하는 사고방식은 영업·개발·백오피스 등 모든 자율 AI에 공통되는 것입니다.

결론을 먼저 말씀드리겠습니다.

「AI 에이전트에게 법인격을 부여하면, 되돌릴 수 없는 판단도 AI가 완전히 자율적으로 집행해도 되는가"
── 답은, "아니오"입니다.

법인격 부여는 어디까지나 "책임의 수용처"를 만드는 이야기이지, "판단을 인간이 감독하지 않아도 된다"는 이야기가 아닙니다.

기업이 법인격을 가지면서도 여전히 (인간) 이사가 선관주의 의무(Duty of Care)를 지고, 주주총회에 의한 감독과 최종 승인 판단에 따르는 조직 설계와 같은 구조입니다.

법인격은 거버넌스를 불필요하게 만드는 것이 아니라, 오히려 책임을 떠안을 그릇을 하나 늘림으로써 그 통치의 요청을 한 단계 더 강화합니다.

AI가 아무리 자율적으로 문제 해결 능력을 연마하더라도, 그리고 설령 법인격을 부여받는다 하더라도, 고삐는 마지막까지 인간이 계속 쥐고 있어야 한다

── 이것이 본 기사가 마지막에 도달하는 결론입니다.

이하, 그 이유를 순서대로 풀어가겠습니다.

(본 연재의 과거 기사)

• 제1작
  「경고에서 액션으로 ── SOC에 AI 에이전트가 들어온다는 것」

• 제2작
  「AI가 네트워크를 격리하면 증거가 사라진다 ── SOC 자동화를 막는 포렌식의 벽」

• 제1작·제2작에서 보았듯이, 사이버 보안의 최전선 현장인 **SOC (Security Operations Center)**에서 AI 에이전트는 조사부터 오염 구역의 강제 격리 조치 실시에 이르기까지, 적어도 기술적으로는 업무를 일괄적으로 수행할 수 있는 실력을 갖추어 가는 위치에 와 있습니다.

• 하지만 지난 기사에서 논했듯이, 「능력적으로 실행할 수 있는 것」과 「실행해도 되는 것」은 다릅니다. 특히 오염 구역의 강제 격리와 같이 되돌릴 수 없는 행동은 기술론이 아니라 판단과 책임을 수반하는 판단의 차원 문제입니다. 이 「할 수 있다」와 「해도 된다」의 논의 차원을 제대로 식별하여 생각하는 것이 거버넌스 (Governance)론입니다.

• 거버넌스는 보안과는 별개의 것입니다. 보안이 외부의 위협으로부터 지키는 행위라면, 거버넌스는 규제 당국·감사인·사내 리스크 위원회에 대하여 AI의 행동을 설명하고 통제를 보여주는 행위입니다〔S1〕.

• 이는 이상론이 아니라, 법적 요구로 굳어지고 있습니다. EU AI Act는 고위험 AI에 리스크 관리 체계(제9조)나 인간의 감독을 의무화하려 하고 있습니다 (적용 시기는 제도 개정에 따라 유동적이며, 단독형 고위험 AI는 2027년 12월로 연기가 결정되었습니다)〔S1〕. NIST의 AI RMF는 AI 리스크 관리의 전제로 「거버넌스 (GOVERN)」 기능을 최우선으로 둡니다〔S2〕.

• 실무상의 중점은, 어떤 행동을 AI에게 맡기고 어디에서 인간의 승인을 거칠 것인가를 올바르게 준별하는 것입니다. 예를 들어, 「알람의 정보 수집은 AI가 자율적으로, 네트워크 차단은 인간이 승인, 공격자의 특정은 인간만이」와 같이 행동별로 권한 설계를 나누는 사고방식을 구체화하는 것입니다〔S3〕.

• AI의 행동은 모두 위조할 수 없는 기록 (감사 추적, Audit Trail)으로 남기고, 언제든 인간이 AI의 행동을 정지시킬 수 있으며, AI가 내린 판단의 이유를 설명할 수 있는 상태로 만드는 것. 이것이 자율 SOC를 「통치」한다는 것입니다〔S1〕〔S3〕.

• 다만, 「인간이 승인하는」 형태만 갖추면 안심할 수 있는 것은 아닙니다. 승인이 내용이 없는 **자동 추인 (Rubber-stamping)**으로 전락하면, 거버넌스는 겉모습만 남은 형해화된 것으로 전락합니다. 감독이 실효성을 가질 수 있는 조건까지 설계할 필요가 있습니다〔S2〕〔S4〕.

• 자율 에이전트에는 고유한 논점도 있습니다. 그 AI는 누구의 권한으로 움직이는가라는 비인간 아이덴티티의 관리〔S5〕. 그리고 오판에 대한 법적 책임은 최종적으로 인간·조직으로 소급됩니다 (AI는 계약 주체도, 배상 주체도, 형사 책임 주체도 될 수 없기 때문입니다)〔S6〕.

• 「차라리 AI에게 법인격을 부여해서는 어떨까」라는 논의도 법학에서 30년 이상 이어져 왔지만, 그럼에도 배후에서 책임을 지는 것은 역시 인간입니다〔S7〕〔S8〕.

• 실제로 EU·일본·미국·중국의 어느 공적인 심의회·의회에서도 AI 자체에 법인격을 정식으로 인정한 사례는 없으며, 각국 모두 책임은 인간·조직에 귀속시키는 방향으로 일치하고 있습니다〔S6〕〔S8〕〔S9〕〔S10〕.

• 그렇다면, AI에게 법인격을 부여하면 격리와 같은 결과 책임을 수반하는 판단도 AI가 완전히 자율적으로 집행해도 되는 것일까요? 답은 「아니오」입니다. 법인격 부여는 「책임의 수용처」를 만드는 이야기이지, 「판단을 인간이 감독하지 않아도 되는」 이야기가 아닙니다.

• 이유는 네 가지입니다.

① 법인격을 부여하는 동기는 「손해배상 재원 확보·책임 주체의 명확화」이지, 감독을 배제하기 위함이 아닙니다〔S6〕〔S7〕.

② EU의 전자 인격 논쟁에서 반대의 핵심은 「법인이라 하더라도 배후에 인간 대표자가 필요하다」는 것이었습니다 ── 회사에 이사가 필요한 것과 같습니다〔S8〕.

③ 오히려 법인격은 「소유자나 운용자에게 도달할 수 없게 된다」 = 책임 소재를 모호하게 만들 위험을 내포합니다〔S7〕.

④ 지난 기사에서 다룬 네 가지 논거 (판단 재료가 외부에 있음 / 그럴듯함 ≠ 옳음 / 문맥이 오염될 수 있음 / 영향의 비대칭성)는 법인격의 유무와 무관하게 성립합니다.

회사가 법인격을 가지면서도 이사의 선관주의 의무를 지는 것처럼, 법인격화는 거버넌스를 불필요하게 만드는 것이 아니라 그 수용처를 하나 늘릴 뿐입니다. 지난 기사가 도달한 마지막 결론 ── 되돌릴 수 없는 판단은 인간이 떠맡는다 ── 는 연재 최종회인 이 기사에서도 끝까지 철회되지 않습니다.

• 결론부터 말씀드리자면,
  AI가 아무리 자율적이라 해도, 최종적인 설명 책임 (Accountability)은 인간으로부터 사라지지 않습니다
  오히려 자율성이 진전될수록, 그 책임의 설계가 조직의 생명선이 됩니다. 그리고 이러한 사고방식은 SOC에 국한되지 않고, 영업·개발·백오피스 등 모든 자율 AI 에이전트 (AI Agent)에 공통적으로 적용됩니다.

• SOC·보안 운영 책임자, 관리자, 그리고 의사결정에 관여하는 분

• AI 에이전트 도입을 검토 중이며, 그 운영의 거버넌스 (Governance)나 법적 규제가 궁금한 분

• 제1작·제2작을 읽고, "기술은 알겠다. 그렇다면 조직으로서 어떻게 운영할 것인가"라는 질문을 갖게 된 분

• CISO, 리스크 관리, 컴플라이언스 (Compliance) 등 기술과 경영의 경계에 서 있는 분

기술 용어에는 친절하고 알기 쉬운 설명을 곁들이겠습니다.

법적 규제에 관한 이야기도 요점만을 평이하게 다룹니다.

1. 보안과 거버넌스의 차이를 명확히 알 수 있습니다. "지키는 것"과 "설명 책임을 다하는 것"은 별개임을 이해할 수 있습니다.

2. 현재 정비가 진행 중인 법적 규제의 요점을 파악할 수 있습니다. EU AI Act, NIST AI RMF가 SOC 현장에 무엇을 요구하는지 쉽게 파악할 수 있습니다.

3. "행동별 권한 설계"의 실무를 알 수 있습니다. 어떤 조작을 AI의 자율적 행동에 맡기고, 어떤 국면에서 인간의 판단·승인을 개입시켜야 하는가. 그 구체적인 선긋기 방식에 대한 사고를 얻을 수 있습니다.

4. "인간이 승인한다"는 것의 함정을 볼 수 있습니다. 인간에 의한 승인이 형식적인 추인으로 전락할 위험(자동 추인)과, 감독이 실효성을 갖기 위한 조건을 깊이 있게 다룹니다.

5. 자율 에이전트 고유의 거버넌스 과제를 알 수 있습니다. AI 에이전트는 누구의 권한으로 움직이는가(비인간 아이덴티티, Non-human Identity), 오판에 대한 법적 책임은 누구에게 귀속되는가와 같은 새로운 논점을 다룹니다.

6. "AI에게 법인격을 부여해야 하는가"라는 최전선의 논의를 접할 수 있습니다. 30년 이상 지속된 법학적 논점과 EU·일본·미국·중국의 공적 심의회·의회에서의 검토 상황을 1차 자료와 함께 알 수 있습니다.

7. 연재 전체가 하나의 호(Arc)로서 마무리됩니다. 기술(연재 1작) → 최전선과 그 한계(연재 2작) → 거버넌스(이번 최종회)로 이어지는 흐름의 도착지를 볼 수 있습니다.

지난 기사에서 우리는 놀라운 광경을 목격했습니다.

AI 에이전트가 침해를 탐지하고, SDN/VLAN을 조작하여 오염 구간을 격리하며, 증거를 수집합니다.

기술적으로는 이 정도까지 자율적으로 "실행할 수" 있게 되었습니다.

하지만 여기서 멈춰 서서 생각해야 합니다.

"실행할 수 있다"는 것이 "실행해도 좋다"는 것을 의미하지는 않습니다.

예를 들어, AI가 "이 통신은 공격이다"라고 판단하여 자율적으로 네트워크를 차단했다고 가정해 봅시다.

만약 그 판단이 오류여서, 차단된 것이 핵심 업무의 정상적인 통신이었다면 어떻게 될까요?

운영 시스템이 AI의 오판 하나로 중단됩니다.

그 손해에 대한 책임은 누가 지게 될까요?

AI일까요?

그것을 설정한 담당자일까요?

승인한 매니저일까요? 아니면 경영진일까요?

이 질문에 대한 답은 기술의 차원에서는 얻을 수 없습니다.

이것은 거버넌스 (Governance) 차원의 질문이기 때문입니다.

AI의 자율적 문제 해결 능력이 진화하고 향상될수록, 이 질문이 갖는 조직론적·사회적 무게는 더해집니다.

연재 첫 기사가 "AI가 무엇을 할 수 있는가"를 논하고, 연재 2작 기사가 "할 수 있다 하더라도, 격리와 같이 되돌릴 수 없는 결정을 AI에게 맡겨도 되는가"를 다루었다면, 연재 최종회인 이 기사는 "그 힘을 조직으로서 어떻게 제어하고, 어떻게 책임을 떠맡을 것인가"를 다룹니다.

지난 제2작 기사에서 제시된 "판단과 책임은 인간이 담당해야 한다"는 결론을 조직의 제도적 차원까지 구체화합니다.

"거버넌스"라는 단어는 모호하게 사용되는 경향이 있으므로, 이 기사에서의 의미를 명확히 해두겠습니다.

**보안 (Security)**은 외부의 위협으로부터 조직을 지키는 활동입니다. 상대는 공격자입니다. 반면, **거버넌스 (Governance)**가 마주하는 상대는 외부 공격자가 아닙니다. 규제 당국, 감사인, 그리고 사내 리스크 위원회입니다〔S1〕.

구체적으로 말하면, AI 에이전트의 거버넌스란 다음을 보장하는 메커니즘입니다〔S1〕.

• 누가 AI의 행동을 승인할 수 있는가 (권한의 설계)
• 각 AI 에이전트가 어디까지의 권한을 갖는가 (권한의 범위)
• AI의 모든 행동이 위변조가 불가능한 형태로 기록되고 있는가 (감사 추적 (Audit Trail))
• AI를 인간이 언제든지 멈출 수 있는가 (정지 수단)
• AI의 행동을 나중에 인간이 심사할 수 있는가 (설명 책임 (Accountability))

이것들은 '공격을 방어하는 것'과는 완전히 다른 목적입니다. 목적은 **"AI의 행동을 조직이 통제하고 있음을 외부에게 보여줄 수 있는 것"**입니다. 공격을 막는 방패가 아니라, 책임을 다하기 위한 장부와 고삐라고 하면 좋을 것입니다.

제1작에서 우리는 'human-in-the-loop (인간 개입)'에 대해 언급했습니다. 그것은 기술적인 안전장치에 관한 이야기였습니다. 거버넌스(Governance)는 그것을 조직의 제도 수준까지 확장한 것입니다. 단순히 인간을 개입시키는 것을 넘어, 개입한 인간이 누구인지, 언제 무엇을 승인했는지, 그리고 그 기록이 어디에 남는지까지 포함하여 설계하는 것. 그것이 거버넌스입니다.

여기까지는 당위적인 이야기로 들렸을지도 모릅니다. 하지만 최근 거버넌스는 노력 목표가 아니라 법적 의무로 변하고 있습니다. 이 지점이 커다란 분기점입니다.

EU AI Act. 고위험(High-risk)으로 분류되는 AI 시스템에 대해 리스크 관리 체계(제9조)나 인간에 의한 감독, 기술 문서 정비를 의무화하는 세계에서 가장 체계적인 AI 규제입니다.

고위험 AI 에이전트를 운용하는 조직은 문서화된 리스크 관리 체계를 갖추고, 일정 기간의 로그를 자동 저장해야 합니다〔S1〕〔S3〕.

위반에 대한 제재도 무거워, 고위험 의무 불이행 시 최대 1,500만 유로 또는 전 세계 매출액의 3%라는 과징금이 규정되어 있습니다〔S1〕.

다만, 그 적용 시기에는 주의가 필요합니다.

이러한 고위험 AI 의무는 당초 2026년 8월부터 적용될 예정이었으나, 이후의 제도 개정(이른바 Digital Omnibus)에 따라 단독형 고위험 AI(부속서 III 해당)에 대해서는 2027년 12월 2일로 연기되었습니다〔S1〕.

한편, AI가 생성·조작한 콘텐츠의 공개와 같은 투명성에 관한 일부 의무는 앞당겨 적용됩니다. 규제의 시행 시기는 현재 유동적으로 움직이고 있습니다.

본 기사의 날짜만으로 판단하지 마시고, 도입을 검토할 때는 반드시 최신 1차 정보를 확인하시기 바랍니다.

중요한 것은 시행이 몇 달 늦춰지는 것이 아닙니다.

"고위험 AI를 자율적으로 구동하려면 그 통치를 문서로 증명하라"는 요구의 방향성이 이미 확정되었다는 사실입니다. 시기는 변해도 향하는 목적지는 바뀌지 않습니다.

NIST AI RMF (AI 리스크 관리 프레임워크).

미국의 이 프레임워크는 AI 리스크 관리를 4가지 기능으로 파악합니다.

── 통치(GOVERN) · 파악(MAP) · 측정(MEASURE) · 관리(MANAGE).

주목할 점은 "통치"가 다른 모든 전제로서 최우선에 놓여 있다는 것입니다〔S2〕.

기술적인 대책을 세우기 전에, 먼저 "누가 책임을 질 것인가"를 정하라는 사상입니다.

법적 구속력이 없는 임의의 프레임워크이지만, 규제 당국 · 감사인 · 사이버 보험의 인수 기준으로 참조되기 때문에 사실상의 표준(De facto standard)이 되어가고 있습니다〔S2〕.

그리고 기존 프레임워크의 상당수는 자율 에이전트가 실무에 투입되는 시대보다 이전에 설계되었습니다.

표준을 만드는 측에서도 현재 그 격차를 메우려 노력하고 있습니다.

이는 자율 SOC의 통치가 바로 지금 제도로 정비되는 과정에 있음을 명확히 보여줍니다.

그리고 이것은 해외만의 이야기가 아닙니다.

우리나라에서도 경제산업성·총무성의 "AI 사업자 가이드라인"이나 금융청의 AI 관련 각종 논의 등, 인간에 의한 감독 · 설명 책임 · 리스크 관리를 요구하는 방향성은 공통적입니다.

명칭이나 프레임워크는 국가마다 다르더라도, "자율적으로 움직이는 AI에는 그것을 다스리는 통치가 필요하다"는 뼈대는 세계적으로 일치하고 있습니다.

즉, 이것은 먼 해외의 규제 이야기가 아니라, 일본(한국)에서 사업을 영위하는 조직에게도 자신과 직결된 과제입니다.

**"AI를 자율적으로 구동하려면 그 통치를 문서로 증명하라"**는 요구가 세계적으로 효력을 발휘하기 시작했습니다.

기술을 도입하면 통치는 나중에 따라오는 것이 아닙니다.

거버넌스의 가장 실무적이고 구체적인 핵심. 그것은 행동마다 "AI의 자율"과 "인간의 승인" 사이의 선을 긋는 것입니다〔S3〕. 모든 것을 AI에 맡기는 것도, 모든 것을 인간이 확인하는 것도 아닙니다. 행동의 성격과 리스크에 따라 권한을 배분합니다.

실제로 제안되고 있는 구분선은 예를 들어 다음과 같습니다〔S3〕.

이 표의 사상은 명쾌합니다.

"잘 이해되어 있고 확신이 높은 정형 작업은 AI에게 자율성을 부여한다. 확신이 낮거나, 새로운 것이거나, 영향력이 큰 것은 인간의 판단을 개입시킨다"〔S3〕.

지난 기사에서 본 "네트워크 자동 격리"는 바로 이 표에서 "실행 전에 인간이 승인"하는 행위에 해당합니다.

기술적으로 자율 격리가 "가능"하더라도, 거버넌스 측면에서는 실행 전에 인간의 승인을 거치는 것이 2026년 시점의 실무적인 답입니다.

단, 이 구분선이 기능하기 위해서는 조건이 있습니다.

워크플로우가 인간의 확인을 강제하는 형태여야 합니다〔S3〕.

"승인 버튼을 누를 수 있다"는 것만으로는 부족합니다. "중요한 행동 직전에 반드시 처리가 멈추고, 인간의 승인을 기다리도록" 메커니즘으로서 구축해야 합니다.

인간이 확인하지 않아도 그냥 지나칠 수 있는 설계라면, 거버넌스는 그림의 떡이 됩니다.

구분선을 정했다면 이를 뒷받침할 기술적·제도적 기둥이 필요합니다. 1차 자료에서 반복적으로 언급하는 것은 다음 세 가지입니다〔S1〕〔S3〕.

첫째, 기록 (감사 추적, Audit Trail).

AI의 모든 행동을 변조할 수 없는 형태로 기록합니다.

언제, 어떤 AI가, 무엇을 근거로, 어떻게 판단하고, 누가 승인했는가.

이 기록이 추후 사고 조사에서도, 규제 대응에서도 결정적인 역할을 합니다.

법적 규제는 보존 기간도 정하고 있으며, 예를 들어 EU AI Act는 고위험 시스템에 일정 기간의 로그 보존을, 금융 규제는 더욱 장기적인 감사 추적의 보존을 요구합니다〔S3〕. 기록 없는 AI는 통제할 수 없습니다.

둘째, 정지 (킬 스위치, Kill Switch).

AI가 아무리 자율적이라 하더라도, 인간이 언제든 멈출 수 있어야 합니다〔S1〕.

폭주했을 때, 오작동했을 때, 혹은 단순히 의심스러울 때.

인간이 실시간으로 개입하여 정지 및 수정할 수 있는 수단을 항상 확보해 두어야 합니다. 고삐를 놓지 않는다는 뜻입니다.

셋째, 설명 (설명 책임, Accountability).

AI가 내린 판단에 대해 그 이유를 나중에 인간이 설명할 수 있어야 함을 의미합니다〔S2〕.

규제 산업에서 이것은 사활이 걸린 문제입니다.

"AI가 그렇게 말했다"는 말은 감사인에게도, 규제 당국에게도 통하지 않습니다.

왜 그 판단에 이르렀는지를 인간이 추적하고 설명할 수 있는 상태를 유지하는 것. 이것이 투명성과 설명 책임의 핵심입니다.

이 세 가지

── 기록·정지·설명 ──

이 갖춰져야 비로소 "조직이 AI의 행동을 통제하고 있다"라고 말할 수 있습니다.

반대로 말하면, 이 세 가지 중 하나라도 결여된 채 자율 AI를 가동하는 것은 고삐가 끊긴 말을 타는 것과 같습니다.

덧붙여 흥미로운 관점이 있습니다.

연재 첫 회 기사에서 본 "AI SOC"의 메커니즘은 사실 그 자체로 거버넌스에 필요한 기록을 생성하는 장치이기도 하다는 지적입니다〔S1〕.

누가 무엇을 탐지하고 누가 승인했는지를 매일 기록하는 SOC의 활동은 그대로 통치의 증적이 됩니다.

방어 메커니즘이 통치의 토대를 겸한다

── 여기에 보안과 거버넌스가 교차하는 하나의 희망이 있습니다.

여기까지가 실무편이었습니다. 자율 SOC를 통제하는 골격

── 거버넌스란 무엇인가, 법적 규제가 무엇을 요구하는가, 행동별로 권한을 어떻게 배분할 것인가

── 를 살펴보았습니다.

이제부터는 발전편입니다.

한 걸음 더 들어가 자율 에이전트 고유의 더 깊은 난관 속으로 들어가 보겠습니다.

제4장에서 "중요한 행동 직전에 처리를 멈추고 인간의 승인을 기다리는" 설계를 보았습니다. 이것이 거버넌스의 핵심입니다.

하지만 여기에 간과하기 쉬운 깊은 함정이 있습니다.

"인간이 승인한다"는 형태만 갖추고 있다고 해서 반드시 통제가 이루어지고 있다고 볼 수는 없다는 점입니다.

생각해 보십시오.

SOC 분석가 앞에 AI가 "이 통신을 차단해도 되겠습니까?"라는 승인 요청을 하루에 수십 건씩 보낸다고 가정해 봅시다.

게다가 AI는 유창하고 그럴듯한 이유를 덧붙입니다.

처음 몇 번은 인간도 신중하게 검토할 것입니다.

하지만 그것이 수십 번 반복되고, 게다가 AI의 판단이 대부분 옳다면

── 인간은 점차 내용을 검토하지 않고 그저 "승인" 버튼을 누르게 될 것입니다.

이것을 **자동 추인 (rubber-stamping, 라버스탬프)**라고 부릅니다. 승인 권한은 인간에게 있지만, 그 승인이 실질적인 판단을 동반하지 않는 단순한 의식이 되어버리는 현상입니다. 그 배경에는 자동화 편향 (automation bias) ── 사람은 자동화된 시스템의 출력을 필요 이상으로 신뢰하는 경향이 있다는, 잘 알려진 인지적 습관이 자리 잡고 있습니다.

자동 추인이 발생하면 거버넌스는 겉모습만 남게 됩니다. 감사 추적(audit trail)에는 "인간이 승인했다"는 기록이 남고, 워크플로우는 인간의 승인을 거치도록 올바르게 설계되어 있습니다. 하지만 실상은 인간이 아무런 판단도 하지 않고 있습니다.

서류상으로는 통제되고 있지만, 현장에서는 아무도 생각하지 않고 있는 것입니다.

이것이 가장 위험한 상태입니다. 사고가 발생한 후 "승인했을 터인 인간"을 조사하면, 그 사람은 "AI가 그렇게 말해서 그냥 눌렀을 뿐입니다"라고밖에 대답할 수 없습니다.

그렇다면 승인을 형식적인 것에 그치지 않게 하려면 무엇이 필요할까요? 1차 자료가 시사하는 바는 인간의 감독이 실효성을 갖기 위한 조건입니다〔S2〕〔S4〕.

판단에 충분한 정보가 승인자에게 전달되고 있는가. "차단해도 좋은가"뿐만 아니라, "왜 AI가 그렇게 판단했는가", "차단했을 경우와 하지 않았을 경우에 어떤 일이 발생하는가"까지 제시되어야 비로소 인간은 판단할 수 있습니다.

판단에 충분한 시간과 전문성이 있는가. 몇 초 만에 수십 건의 요청이 몰린다면 면밀한 검토는 불가능합니다. 승인을 요청하는 빈도 그 자체를 인간이 처리할 수 있는 수준으로 설계해야 합니다.

"거부"가 현실적으로 가능한가. AI의 권고를 거부했을 때 업무가 돌아가지 않거나, 거부한 인간이 책임을 지게 되는 ── 그러한 분위기가 있다면 거부는 선택되지 않을 것입니다. 거부라는 선택지가 심리적으로나 제도적으로 열려 있어야 비로소 승인은 의미를 갖습니다.

다시 말해, "인간을 개입시키는 것"과 "인간이 실제로 판단하는 것"은 별개의 문제입니다.

지난 기사에서 "human-in-the-loop"를 기술적인 안전장치로 살펴보았지만, 그것이 정말로 기능할지 여부는 이 감독의 실효성에 달려 있습니다.

거버넌스 설계란 승인 버튼을 배치하는 것이 아니라, 그 버튼을 누르는 인간이 정말로 판단할 수 있는 상황을 만드는 것입니다.

또 하나, 자율 에이전트 시대에 고유하며 간과하기 쉬운 논점이 있습니다. 그것은 바로 **"그 AI 에이전트는 도대체 누구의 권한으로 네트워크를 조작하고 있는가"**라는 질문입니다.

제2작에서 AI 에이전트가 SDN 컨트롤러를 조작하여 네트워크를 격리하는 장면을 보았습니다. 여기서 통제의 관점에서 확인해야 할 것이 있습니다. 그 조작은 어떠한 자격 증명(계정, 권한)을 사용하여 실행되고 있는가 하는 점입니다.

흔히 저지르는, 그러나 위험한 방식은 인간 관리자의 인증 정보를 AI 에이전트가 사용하게 하는 것입니다.

이렇게 하면 어떤 일이 벌어질까요?

감사 로그에는 마치 그 인간 관리자가 조작한 것처럼 기록이 남습니다.

실제로 판단하고 실행한 것은 AI인데, 기록상으로는 인간의 모습이 됩니다. 행동과 그 주체의 기록이 불일치하게 되는 것입니다.

이는 제5장에서 본 "기록"의 기둥을 근본적으로 무너뜨립니다. 누가 정말로 무엇을 했는지 추적할 수 없게 되기 때문입니다.

그렇기에 지금 중요하게 다뤄지고 있는 것이 바로 비인간 아이덴티티 (non-human identity, NHI) 관리입니다〔S5〕.

NHI란 인간이 아닌 소프트웨어에 속하는 신원을 말하며

── 서비스 계정, API 토큰, 그리고 AI 에이전트 등을 가리킵니다.

인간 사용자와 마찬가지로 AI 에이전트에게도 그 고유한 ID(신원)와 명확한 소유자를 부여합니다.

그 ID에 대해 필요 최소한의 권한만을 할당합니다 (최소 권한의 원칙).

인증 정보는 정기적으로 갱신하고, 불필요해지면 무효화합니다.

그리고 그 ID가 "언제, 무엇을 했는지"를 인간과는 구분하여 기록합니다.

이렇게 해야 비로소 "이 네트워크 차단은 어떤 AI 에이전트가 어떤 권한에 기반하여 수행했는가"를 정확하게 추적할 수 있게 됩니다〔S5〕.

더 구체적으로, 엔지니어의 관점에서 말하자면 핵심은 다음과 같습니다〔S5〕. 에이전트의 ID를 **정기적으로 전수 조사(inventory)**하여, 사용되지 않거나 소유자가 불분명한 것을 가려내는 것입니다. 인증 정보는 장기간 유효한 고정된 형태가 아니라, 단명(short-lived) 자격 증명을 사용하여 자동으로 만료 및 갱신되도록 합니다. 그리고 각 에이전트의 행동을 감시하여, 평소와 다른 이상 징후를 탐지합니다. 인간 직원의 계정에 대해 수행하는 작업──입사 및 퇴사에 따른 권한 부여와 박탈, 최소 권한 원칙, 액세스 로그 감시──를 AI 에이전트에게도 동일한 엄격함으로 적용하는 것이 기본 자세입니다.

이것은 단순한 기술적 설정에 관한 이야기가 아닙니다.

책임을 추적 가능하게 만들기 위한 거버넌스(Governance)의 토대입니다.

에이전트 고유의 ID가 없다면, 해당 에이전트의 행동을 다른 것과 분리하여 심사하거나, 권한을 제한하거나, 유사시 해당 ID만을 무효화하는 것이 불가능합니다.

자율적으로 움직이는 것이 늘어날수록, "각각이 누구의, 어떤 권한으로 움직이고 있는가"를 관리하는 것이 거버넌스의 생명선이 됩니다.

그리고 여기에는 실무적인 난관도 존재합니다.

조직 내에서 이러한 비인간 아이덴티티(Non-Human Identity, NHI)의 수는 급격히 증가하고 있습니다. 실제로 기업 내에서 NHI가 인간의 계정을 수십 배에서 백 배 규모로 상회한다는 조사도 있으며, AI 에이전트는 그중에서 가장 빠르게 증가하는 카테고리로 간주됩니다〔S5〕.

게다가 이러한 ID 중 상당수가 충분히 관리되지 않고 있습니다.

어느 분석에 따르면, 조직의 절반이 AI 아이덴티티에 대해 명확한 소유자를 정하지 않았으며, 일정 비율의 조직은 AI 관련 ID가 생성되었다는 사실조차 추적하지 못하고 있다고 보고되었습니다〔S5〕.

그 하나하나에 적절한 권한을 할당하고, 전수 조사하며, 불필요해지면 만료시키는 것

── 이 관리는 결코 작은 작업이 아닙니다. 다음 장에서 다룰 "재고 문제"와 이 부분은 깊게 연결되어 있습니다.

성실함을 유지하기 위해, 단순히 좋은 말로 끝내지 않겠습니다. 거버넌스 설계에는 현실적인 난관(과제)이 있습니다.

가장 흔한 실패 사례는 이것입니다〔S4〕. 거버넌스를 컴플라이언스(Compliance) 부서에 맡기면, 그들은 AI 기술을 알지 못합니다. 기술을 보안(Security) 부서에 맡기면, 그들에게는 제도를 정할 권한이 없습니다. "보안은 컴플라이언스가 감시하고 있다고 생각한다. 컴플라이언스는 보안이 수행하고 있다고 생각한다. 아무도 AI가 이상해졌을 때 경고(Alert)를 받지 않는다"〔S4〕── 이 책임의 공백이 가장 위험합니다. NIST AI RMF가 "먼저 누가 책임을 질 것인지 명확히 하라"고 역설하는 이유는 바로 이 공백을 방지하기 위해서입니다〔S4〕.