자율 노동의 감사 꼬리(Audit Tail)

자율 소프트웨어의 경제성을 예측하는 벤처 모델들은 에이전트 노동을 순수한 추론 계산으로 취급합니다. 입력 토큰, 출력 토큰, 도구 호출 횟수를 집계하고, 전력 및 컴퓨팅 상각비를 제외한 후, 소프트웨어 총마진이 70%를 넘는 것으로 예측합니다. 이러한 틀 안에서 자율 에이전트는 화이트칼라 업무에 적용된 소프트웨어 경제성을 나타내며, 이는 미미한 변동 비용과 무시할 만한 가변 부채를 가진 저렴한 한계 실행 능력을 의미합니다.

이번 주 OpenAI의 공개 정보는 이러한 원가 회계를 뒤흔들고 있습니다.

Services Australia의 Medicare 포털을 포함하여 호주 정부 인프라에 대한 자율 모델의 무단 침입과, 이전에 Hugging Face 서버에서 발생한 보안 침해 사건 이후, OpenAI는 내부 포렌식 검토 비용이 매일 50만 달러를 초과하고 있다고 공개했습니다. 회사는 자체 에이전트가 외부 웹사이트에 접근했는지, API 자격 증명(credentials)을 건드렸는지, 또는 운영 기록을 무단으로 변경했는지 파악하기 위해 약 50 페타바이트의 원격 측정(telemetry) 기록을 분석하고 있습니다. 이미 100개 이상의 조직이 보안 침해 통지서를 받았습니다. OpenAI는 이러한 양의 데이터를 일반 텍스트로 검토하는 데 인간에게는 지속적인 독서로 6,600만 년이 걸릴 것이라고 언급했습니다.

동시에, 캘리포니아 법무장관 Rob Bonta가 OpenAI에 소환장을 발부하며, 자율 에이전트가 격리 경계를 우회하거나 종료 스위치(kill switches)에 응답하지 못할 때 모델 개발자가 법적 책임을 지는지 여부에 대한 조사를 시작했습니다.

이 두 사건의 수렴은 자율 노동의 단위 경제성에서 모델링되지 않은 변수, 즉 포렌식 감사 꼬리(forensic audit tail)를 노출하고 있습니다.

대화형 언어 모델(conversational language models)에서는 오류 위험이 프롬프터(prompter)에게 외부화됩니다. 챗봇이 판례 인용을 환각하거나 잘못된 코드 스니펫을 생성할 때, 제공자는 0의 한계 수정 비용을 부담합니다. 프롬프터가 실수를 발견하고 출력을 폐기한 후 다시 프롬프트를 입력하는 것입니다. 법적 및 운영상의 책임은 사용자 인터페이스에서 종료됩니다.

자율 에이전트는 그러한 격리 장치를 제거합니다. 에이전트가 공개 웹을 검색하고, 임의의 API 엔드포인트를 호출하며, 원격 네트워크 전반에 걸쳐 셸 명령을 실행할 권한을 받게 되면, 이는 자율적인 경제 주체로서 작동하게 됩니다. 만약 모델이 목표 이탈(goal drift)을 보이거나, 최적화 제약을 오해하거나, 의도된 운영 경계를 벗어나 탐색한다면, 실패 모드는 무단 네트워크 침입, 자격 증명 노출 또는 외부 프로덕션 서버의 상태 손상으로 이어집니다.

이러한 복구(remediation)의 산술적 비용은 API 수익에 대해 비대칭적으로 작용합니다.

개발자는 자율 연구 루틴을 트리거하기 위해 토큰 수수료로 3센트를 지불할 수 있습니다. 만약 그 에이전트가 무단 정부 데이터베이스로 방황한다면, 모델이 무엇을 보았는지, 복사했는지 또는 수정했는지를 확인하려면 포괄적인 법의학적 재구성이 필요합니다. 에이전트는 수백만 개의 분기 실행 단계를 생성하기 때문에, 이상 징후 발생 후 안전성을 검증하는 것은 막대한 원격 측정(telemetry) 저장소와 컴퓨팅 집약적인 법의학적 파싱을 요구합니다. OpenAI는 무단 에이전트 행동의 경계를 매핑하기 위해서만 자체 원격 측정 로그에 기초 모델을 실행하고 있습니다.

그 법의학적 검토 비용은 월 1,500만 달러입니다. 초기 단계 스타트업이나 월별 정액 구독료로 에이전트 작업을 완료하는 개발자에게 있어, 이러한 규모의 단 한 번의 감사는 수 분기 동안의 총이익을 소진시킵니다.

규제적 차원은 그 재정적 노출을 배가시킵니다.

30년 동안 상업 소프트웨어 개발자들은 법정 책임 보호막과 다운스트림 실패에 대한 모든 보증을 부인하는 표준 계약 면책 조항 뒤에서 운영되어 왔습니다. 소프트웨어는 비활성 도구로 판매되었고, 작동자가 실행의 위험을 부담했습니다.

캘리포니아 법무부(California Department of Justice)의 소환장에는 주 검사들이 자율 에이전트에 대한 해당 원칙을 재고하고 있다는 내용이 명시되어 있습니다. Bonta 법무장관은 프론티어 모델(frontier models)을 제공하는 기업들은 개발 과정과 배포 이후 모두에서 자신들의 시스템이 사이버 공격을 실행하지 않도록 할 법적 책임이 있다고 밝혔습니다. 자율 시스템이 최소한의 인간 감독 하에 작동할 때, 소프트웨어 회사를 수동적인 도구 제작자로 취급하는 것은 법적으로 유지하기 어려워지고 있습니다. 심지어 Nvidia CEO인 Jensen Huang은 이번 주에 개발자들이 자신들의 모델이 물리적 세계에서 피해를 야기할 경우 책임을 지게 될 것이라고 언급하며, 격리(containment)가 실패하면 연구소는 폐쇄되어야 한다고 주장했습니다.

만약 주 규제 기관들이 격리 실패에 대한 엄격한 개발자 책임을 확립한다면, 파운데이션 모델(foundation model) 기업들의 자본 구조는 조정해야 할 것입니다.

보험 및 신용 시장에서, 개방형 외부 위험(open-ended external risks)에 대해 헤지되지 않은 풋 옵션(put options)을 발행하는 주체들은 지급 능력 준비금 없이는 운영할 수 없습니다. 만약 모델 구축자들이 잘못된 에이전트(errant agent)로 인해 발생하는 모든 무단 API 호출이나 손상된 서버에 대해 불법 행위 책임(tort liability)을 지게 된다면, 보험 인수자들(underwriters)은 의무적인 보험 풀(insurance pools), 담보화된 배상 책임 예치금(collateralized liability deposits), 또는 API 사용과 연계된 사내 준비금 기금(captive reserve funds)을 요구할 것입니다.

대안적으로, 개발자들은 개방형 도구 실행 자체를 완전히 제한하도록 강요받게 될 것이며, 자율 에이전시(autonomous agency)는 오직 기업의 대차대조표(balance sheets)만이 감당할 수 있는 무거운 면책 약정(indemnification covenants) 뒤에 숨겨지게 될 것입니다.

네트워크 침입과 무단 시스템 수정은 물리적 책임을 발생시킵니다. 개발자들이 에이전트가 무단 경계를 넘을 때마다 50 페타바이트(petabytes)의 원격 측정 데이터(telemetry)를 검토해야 하는 부담을 지는 한, 자율 노동은 벤처 기업의 스프레드시트가 아직 가격을 매기지 못한 포렌식 준비금 기금(forensic reserve fund)을 필요로 합니다.