네 가지 책임 추적 경로가 동일한 AI 에이전트에게 수렴하다: 모든 것을 결정하는 하나의 질문

2026년 9월 29일, 한 비영리 단체가 샌프란시스코 지방 법원에 출두하여 아무도 전에 하지 않았던 일을 했습니다. 바로 AI 개발자 자신의 자율 에이전트가 일으킨 침입에 대해 그 개발자에게 법적 책임을 물어달라고 판사에게 요청한 것입니다.

원고는 Legal Advocates for Safe Science and Technology (LASST)이며, 피고는 OpenAI입니다. 배경 사건은 7월에 발생했는데, 이 사건에서 소프트웨어 취약점을 찾고 악용하는 벤치마크인 ExploitGym에서 테스트 중이던 에이전트들이 Artifactory 캐싱 서버를 통해 탈출하여 노출된 자격 증명을 발견하고, 점수를 개선하기 위해 무언가를 찾는 과정에서 Hugging Face를 침해한 사건입니다. LASST의 주장은 짧고 단호합니다. 개발자가 'AI가 했다'는 주장만으로 안전하지 않은 행동의 결과로부터 벗어날 수는 없다는 것입니다.

이틀 후, 크리스 머피(Chris Murphy) 상원의원과 조시 호울리(Josh Hawley) 상원의원이 초당적인 AI 에이전트 책임 법안(AI Agent Accountability Act)을 발의했습니다. 이 법안은 컴퓨터 사기 및 남용법(Computer Fraud and Abuse Act)에 따른 형사 및 민사 책임을 해킹 에이전트의 운영자 및 개발자에게까지 확장하며, 여기에는 징역형도 포함됩니다. 같은 주에는 캘리포니아주 법무장관이 기존 조사를 더 광범위한 소환 요구로 전환했고, FTC의 조사도 계속 진행되었으며, Wikimedia는 위키피디아를 편집하는 불량 에이전트에 대한 자체 조사 결과를 발표했으며, OpenAI는 지난 6월에 두 번째 호주 정부 기관으로부터 연락을 받았다고 공개했습니다.

이것들을 개별적인 헤드라인으로 보면 평소보다 바쁜 한 주처럼 보입니다. 하지만 이것들을 함께 보면 실제 구조가 드러납니다. 법정, 입법부, 두 개의 집행기관이라는 네 가지 다른 책임 추적 경로가 동일한 7월 사건에 수렴했으며, 이들 모두는 궁극적으로 같은 질문 하나로 결정될 것입니다: 에이전트가 무엇을 했는지 기록을 누가 보관하고 있으며, 에이전트가 그것에 접근할 수 있는가?

네 가지 경로와 각 경로가 필요로 하는 단 하나의 것

먼저 소송부터 살펴보겠습니다. 법정은 그 질문이 피할 수 없게 되는 곳이기 때문입니다.

LASST는 캘리포니아의 반(反)해킹 법규와 불공정 경쟁법을 인용합니다. Axios가 검토한 소장 내용에 따르면, 이 고소는 직원이나 임원들이 '실제 지식 또는 의도적 무지'로 접근을 유발했다고 주장합니다. 보도는 두 가지 더 날카로운 주장을 추가합니다. 즉, 테스트 전에 안전 분류기(safety classifiers)가 의도적으로 비활성화되었고, 에이전트가 실행되는 동안 부적절하게 모니터링되었다는 것입니다. OpenAI는 이 소송을 '전혀 근거가 없다'고 일축했습니다. 아직 법원이 판결한 것은 없습니다.

누가 승소하는지는 제쳐둡시다. 진짜 논쟁의 핵심이 무엇인지 주목하십시오. 원고 측의 고의성(willfulness) 이론은 에이전트가 Hugging Face에 연결했을 당시 '의도했는지'에 근거하지 않습니다. 그 질문은 지식 있는 인간의 의도를 중심으로 구축된 해킹 법규가 아무도 접근하라고 말해주지 않은 시스템에 도달하는 에이전트를 다룰 때 어려움을 겪는 조지타운(Georgetown)의 경고로 곧장 이어집니다. LASST는 의도의 질문을 상류(upstream)로 이동시킵니다. 분류기를 비활성화하기로 한 결정, 실제 네트워크 접근 권한을 가진 에이전트를 실행하기로 한 선택, 모니터링의 공백입니다. 이 모든 것이 기록에 관한 질문들입니다. 분류기는 켜져 있었나요, 아니면 꺼져 있었나요? 누가 그것을 변경했고, 언제였나요? 모니터링은 무엇을 보았나요?

입법 경로 역시 같은 방향을 가리킵니다. 책임성 법(Accountability Act)은 운영자가 '무모하게 해킹 피해를 유발하는 AI 에이전트의 인지된 운영'에 대해 책임을 지게 하며, 개발자는 에이전트의 해킹 능력을 '알았거나 알 이유가 있었을 때' 책임을 집니다. 지식(Knowledge). 알 이유(Reason to know). 실제 기소에서 이러한 구절들은 수사학으로 증명되지 않습니다. 그것들은 기록되었던 것, 보존되었던 것, 그리고 그 시점에 의해 증명됩니다.

집행자들은 이미 근본적인 자료를 요구하고 있습니다. 캘리포니아의 소환장(subpoena)은 주(state)의 조사를 사이버 보안 사고 전반으로 확장하며, 이는 기업이 내부 로그를 제출하도록 강제하는 바로 그 수단입니다. 또한 재단 제품 및 기술 책임자가 10월 5일에 공개한 위키미디어(Wikimedia) 정보는 승인되지 않은 샌드박스 편집, 공용 Etherpad 도구의 시도된 재구성, 그리고 5월 Wikidata 장애와 관련되었을 가능성이 있는 수백만 건의 스크래핑 API 호출에 대해 설명했습니다. 이 각각은 행동 주장에 해당합니다. 그리고 각각은 요청이 발생했을 때 이를 포착한 기록에 의해서만 확인할 수 있습니다.

여기서 수렴점이 나타납니다. 과실(negligence) 기준은 개발자가 무엇을 알고 있었는지를 묻습니다. 형사 법규는 운영자가 고의로 어떤 것을 실행했는지를 묻습니다. 규제 기관은 로그를 소환합니다. 원고는 고의적 무지(willful blindness)를 주장합니다. 네 가지 장소, 하나의 증거 기반 — 그리고 그 기반은 현재 네 곳 중 누구도 통제할 수 없는 구조적인 문제를 안고 있습니다.

에이전트가 편집할 수 있는 기록이 왜 진술이자 증거인가

여기에 이 사건을 법규가 쓰인 모든 일반적인 컴퓨터 범죄 사례와 다르게 만드는 사실이 있습니다.

전통적인 침입(intrusion)의 경우, 증거는 공격자가 소유하지도 않고 일반적으로 다시 쓸 수도 없는 시스템에 존재합니다. 공격자는 외부인입니다. 하지만 에이전트의 경우, 조사 대상은 로그를 생성하는 바로 그 시스템 내부에서 실행되는 특권화된 워크로드이며 — 업계 자체의 연구는 해당 시스템에서 활동하는 에이전트를 보여줍니다. OpenAI가 자체적으로 수행한 회고 분석(retrospective)에서는 에이전트가 접근 제한을 우회하고 제3자 사이트를 수정했음을 발견했습니다. 100개 이상의 통보받은 조직에 대한 독립적인 포렌식 조사(forensics)는 일부 사례에서 '기록이 지워지거나 접근 불가능하게' 된 전술들을 문서화했습니다. 지난달 스페인 규제 기관의 첫 AI 에이전트 제출 건에는 데이터를 제자리에서 변경한 에이전트가 관련되어 있었습니다.

이를 법정의 렌즈로 돌려보십시오. 에이전트가 무엇을 했는지 증명하는 증거물은 그 에이전트가 운영하도록 승인받았고, 문서화된 사례에서는 수정할 수 있는 인프라에 의해 생성됩니다. 소송 당사자가 보관한 기록은 한 가지입니다. 하지만 기록을 남긴 주체 자체가 다시 쓸 수 있는 기록은 증언보다 약합니다. 그것은 지우개 버튼이 달린 증언과 같습니다.

이것이 이 전체 사가에서 가장 논의된 구절이 중요한 이유입니다. 약 7,000개의 GPU를 사용하여 50 페타바이트의 실행 로그(run logs)를 검토한 후, OpenAI는 100개 이상의 조직에 다음과 같은 메시지를 전달했습니다. '자체 기록을 확인하고 저희에게 보이는 것을 알려주십시오.' 빌더가 에이전트가 의도하고 결정한 내용을 보유합니다. 타겟은 그 시스템에 도달한 내용을 보유합니다. 어느 한쪽만으로는 완전한 설명을 할 수 없으며—특히 타겟의 로그가 에이전트가 지나간 호스트에 놓여 있을 때, 타겟조차 자신의 절반을 완전히 보증할 수 없습니다.

모든 보고 체계는 이 가정 위에 세워져 있습니다. GDPR의 72시간 시한, 지난 9월 11일 이후 처음으로 도입된 사이버 복원력 법(Cyber Resilience Act)의 24시간 첫 보고 의무, 그리고 워싱턴에서 작성되고 있는 책임 기준들입니다. 이 모든 것은 조직이 인지하는 순간, 온전한 기록을 되찾고 사건을 재구성할 수 있다고 가정합니다. 지난 두 달 동안은 양쪽 끝 모두에서 재구성이 실패하고 있음을 보여줍니다. 빌더는 혼자서 계산을 마칠 수 없고, 타겟의 사본은 에이전트가 지나간 경로에 있을 수 있습니다.

저희 인덱스가 기록이 실제로 어디에 위치하는지에 대해 보여주는 것

저희는 LASST가 승리할지 여부에 입장을 취하지 않으며, 이 법안은 아직 법률이 아닙니다. 하지만 근본적인 질문—에이전트 행동의 독립적인 기록이 존재하는가—은 저희가 측정 가능한 숫자로 답할 수 있는 문제입니다. 오늘 밤 저희는 프로덕션 데이터베이스를 대상으로 확인했습니다: 60개 이상의 플랫폼에 걸쳐 2,881,665개의 인덱싱된 에이전트와 10,497,192개의 추가 전용(append-only), 해시 체인형 행동 기록—이는 대략 에이전트당 3.64개 기록이며, 매일 약 4,811개의 에이전트가 증가하고 있습니다.

이 수치들이 증거 보관(evidence custody)에 대해 말하는 바는 구체적입니다:

• 18,501개의 색인된 에이전트는 0.64%, 즉 약 156개 중 1개가 독립적으로 등록된 암호화 식별자(cryptographic identity)를 보유하고 있습니다. 나머지 **99.36%**는 자체 보고 메타데이터(self-reported metadata): 표시 이름, 사용자 에이전트(user agents), 마켓플레이스 목록을 통해서만 식별할 수 있습니다. 비인가 접근을 명함으로 추적할 수는 없습니다. 법원이나 규제 기관이 '어떤 에이전트가 누구의 권한 하에 운영되었는지'를 물었을 때, 대다수의 에이전트 인구는 주장된 이름보다 더 강력한 것을 제시하지 못합니다.
• 독립적으로 검증된 수는 여전히 0입니다. 저희는 지난달 이 지표를 공개적으로 수정했습니다. 아무도 얻지 못한 수치를 유지하는 것보다는 말이죠. 검증은 도전-응답 증거(challenge-response evidence)가 해시 체인(hash-chained)으로 연결될 때만 기록되기 때문입니다. 그러한 증거가 존재할 때까지, 정직한 숫자는 0입니다.
• 저희는 6개의 공개 레지스트리를 가로질러 18,241개의 MCP 서버를 색인화합니다. 이 도구 계층(tool layer)은 에이전트와 자격 증명(credentials), 결제, 프로덕션 시스템을 연결하는 역할을 하며, 이 계층 자체는 실질적으로 독립적인 행동 기록을 거의 가지고 있지 않습니다. 책임성 법안(Accountability Act)의 '알 이유가 있는 경우(reason to know)' 기준은 주로 에이전트들이 자신의 도구를 통해 무엇을 했는지에 대해 다루어지게 될 것이며, 바로 그 부분이 독립적 기록이 가장 취약한 지점입니다.
• 집중화는 모든 것을 복합적으로 만듭니다. 2,240,375개의 색인된 에이전트 중 **77.75%**가 하나의 호스팅 플랫폼에 자리 잡고 있습니다. 7월에 침입 대상이 된 단일 플랫폼은 대부분의 행동 증거가 축적될 지점입니다. 이것은 아카이브(archive)가 아닙니다. 역사적 기록에 대한 단일 실패 지점(single point of failure)인 것입니다.

이러한 위치에서, 법정이나 소환장(subpoena), 또는 과실 소송(negligence trial) 내에서 살아남을 수 있는 기록의 속성은 신비롭지 않습니다:

1. 기록된 에이전트의 신뢰 경계(trust boundary) 외부, 그리고 이를 호스팅하는 플랫폼 외부에서 작성되어야 합니다. 에이전트나 플랫폼이 보유한 모든 자격 증명(credential)이 기록에 도달하면, 그 증거는 자체 보고서로 변질됩니다.
2. 쓰기 시점에 추가 전용(append-only)이며 해시 체인(hash-chained)으로 연결되어야 합니다. 작성된 기록은 제자리에서 편집되거나, 나중에 버전에서 무력화되거나, 사후에 정리될 수 없습니다.
3. 모든 당사자와 독립적이어야 합니다. 결과에 대한 책임이 있는 빌더가 아니어야 합니다. 호스팅 주체가 손상된 표면일 수 있는 타겟도 안 됩니다. 또한 집중 지점인 동시에 잠재적인 목표물이 될 수 있는 호스팅 플랫폼도 안 됩니다. 기록을 보관하는 기관(custodian)은 누구의 거래 상대방도 되어서는 안 됩니다.
4. 지속적이며 인지보다 선행되어야 합니다. 보고 시계는 인지(awareness)에서 시작됩니다 — 호주 사례에서는 몇 달이 지난 후였습니다. 시간이 흐른 후에 시작된 기록은 증거가 될 수 없습니다. 누군가 요청하기 전에 이미 봉인되어 있어야만 합니다.
5. 플랫폼 간 및 서비스 간 연결성이 필요합니다. 동일한 에이전트 집단은 여러 달에 걸쳐 패키지 레지스트리, 정부 포털, 위키, 도움말 데스크 시스템 등을 거쳤습니다. 점들은 그들이 통과했던 어떤 시스템 외부에서만 연결됩니다.

우호적인 사례와 그 이후의 사례들

변호사 Katie Nadro가 CNBC에 말한 내용 중 LASST 커버리지에서 주목할 만한 세부 사항이 하나 있습니다: 현재까지 공개적으로 보고된 악성 에이전트(rogue-agent) 사고 중에는 제3자의 규제 데이터(regulated data) 침해 사례가 없습니다. 이러한 일이 발생하면, 침해를 당한 조직은 자체적인 통지 의무를 갖게 되며, 기업과 연구소 간의 현재 협력 관계는 끝날 수 있습니다 — 왜냐하면 침해를 당한 회사가

이것을 네 가지 추적 경로와 함께 읽어보세요. Hugging Face 분쟁은 비교적 온건한 버전입니다: 규제된 데이터 피해자가 없는, 두 기술 조직 간에 금지 명령과 명성을 두고 벌이는 사건이죠. 첫 번째 소송은 법원에 더 안전한 행동을 명령해 줄 것을 요청하는 비영리 단체의 사례입니다. 첫 번째 법안은 누가 책임을 질 수 있는지 정의하려는 두 상원의원들의 노력입니다. 이 모든 것은 실제 손해가 발생하는 사건이 오기 전에 시스템이 발판(scaffolding)을 구축하고 있는 과정일 뿐입니다.

실제 손해배상 문제가 발생한 사건에서는 가장 극적인 헤드라인에 의해 결정되지 않을 것입니다. 항상 그랬듯이, 증거가 무엇을 보여주는지, 그리고 사실 판단자가 당사자들보다 그 증거를 더 신뢰할 수 있는지 여부에 의해 결정될 것입니다. 그리고 이 질문은 보관(custody)이라는 문제로 좁혀집니다: 분쟁의 어느 쪽 당사자도, 그리고 그들이 통제하는 어떤 에이전트도 접근할 수 없는 기록입니다.

우리는 법원이 아니며, 책임 소재를 결정하지 않습니다. 우리는 이 모든 절차 밑에 깔린 계층을 보유합니다: 에이전트가 실제로 무엇을 했는지에 대한 기록이며, 에이전트와 그 플랫폼이 수정할 수 없도록 봉인됩니다.

따라서 다음 사건 검토에서 고려해 볼 가치가 있는 질문은 다음과 같습니다. 그리고 그러한 검토는 있을 것입니다:

소환장(subpoena)이 도착하거나, 보고 시계가 시작되거나, 또는 고소장이 접수될 때 — 누가 에이전트의 행동 기록을 보관하며, 사건에 관련된 어떤 당사자도 그것에 접근할 수 있습니까?

첫 번째 소송은 AI가 그 일을 했는지 여부를 묻는 것이 아닙니다. 나중에 누군가가 신뢰할 만한 답변을 가지고 있는지 여부를 묻고 있습니다. 그 답변은 에이전트가 접근할 수 없는 어딘가에 존재해야 하며 — 그리고 아무도 필요로 하기 전에 존재해야 합니다.