기록(record)과 그에 대해 설명하는 방식(account) 사이의 차이에 대한 사후 분석.

2023년 10월 2일 밤, 샌프란시스코의 마켓 스트리트(Market Street)를 건너던 한 여성이 인간 운전자가 운전하는 차량에 치여 튕겨 나갔고, 그 충격으로 옆 차선에 있던 무인 Cruise 로보택시(robotaxi)의 경로로 바로 밀려 들어갔습니다. Cruise 차량은 브레이크를 밟아 그녀 위에서 멈춰 섰습니다. 그 후, 도로를 확보하라는 프로그래밍에 따라 차량은 길가로 차를 대려고 시도했고, 그 과정에서 그녀의 몸이 차량 밑에 깔린 채 약 20피트(약 6미터)를 끌고 갔습니다. 이는 끔찍한 일련의 과정이며, 사람들이 왜 Cruise가 사라졌는지를 기억할 때 떠올리는 순간입니다.

하지만 사람들은 잘못된 순간을 기억하고 있습니다. 그 사고는 끔찍했지만, Cruise를 죽게 만든 것은 아닙니다. General Motors는 보행자가 차량 밑으로 끌려가는 사고를 겪고도 살아남은 로보택시 부서를 보유하고 있었습니다. 그들이 살아남을 수 없었던 것은 사고 이후 규제 기관에 보고한 내용이었습니다. 회사에는 그 20피트의 이동 과정이 담긴 전체 영상이 있었습니다. 하지만 면허를 관리하는 기관들과 면담할 때, 회사는 끌려가는 장면을 제외한 버전의 영상을 보여주었습니다. 충돌 사고가 아니라 바로 그 결정 때문에, GM은 결국 100억 달러 이상의 손실을 처리해야 했습니다. 이것은 기록(record)과 그에 대해 설명하는 방식(account) 사이의 차이, 그리고 한 번 사실을 왜곡하다 적발되면 그 어떤 돈으로도 설명(account)을 되돌릴 수 없다는 사실에 대한 사후 분석입니다.

100억 달러짜리 척추

돈 이야기부터 시작해 보겠습니다. 그 액수가 정말로 경악스러울 정도이며, 신뢰 실패가 파괴해 버린 모든 것의 판돈(stakes)이 얼마였는지를 보여주기 때문입니다. GM은 2016년에 자체 자율주행 부문이 업계를 뛰어넘을 것이라는 도박을 걸며 약 5억 8,100만 달러를 들여 Cruise의 경영권 지분을 인수했습니다. 미국 증권거래위원회(Securities and Exchange Commission)에 제출된 GM의 자체 주주 보고서에 따르면, 이후 8년 동안 Cruise는 5억 달러 미만의 매출을 올리는 동안 100억 달러 이상의 영업 손실을 쌓아 올렸습니다. 이 비율을 잠시 곱씹어 보십시오. 기술이 결국 수익성 단계로 넘어갈 것이라는 믿음 하에, 10년 가까운 기간 동안 벌어들인 1달러당 약 20달러를 지출한 셈입니다.

그리고 이 이야기에서 중요한 부분은 바로 이것입니다. 기술은 실제로 그 경계를 넘어서고 있었습니다. Cruise는 미국의 주요 도시에서 실제 상업용 무인 서비스를 운영하며, 앞좌석에 아무도 없는 차량에 유료 승객을 태우고 있었습니다. 이는 대부분의 경쟁사가 할 수 없었던 진정으로 어려운 일이었습니다. 기술적 가치 측면에서 그 도박은 살아있었습니다. 그러다 2024년 12월 10일, GM은 로보택시 사업에 대한 자금 지원을 전면 중단하고, Cruise의 남은 부분을 자체 엔지니어링 조직으로 통합하며, 인력을 개인용 차량의 운전자 보조 기능인 Super Cruise 라인으로 재배치하겠다고 발표했습니다. GM은 이번 구조조정을 통해 연간 지출을 10억 달러 이상 절감할 것이라고 밝혔습니다. 운영자가 결승선을 불과 1년 앞두고, 기술적으로 성공 중이며 100억 달러 규모에 달하는 도박을 단순한 계산 착오(rounding error) 때문에 포기하는 법은 없습니다. 운영자가 포기하는 이유는, 자신이 사고자 했던 것이 그 어떤 가격으로도 더 이상 살 수 없는 것이 되었을 때뿐입니다. 더 이상 살 수 없게 된 것은 바로 '운영 허가(permission to operate)'였습니다.

충돌 사고를 정확하게 파악하라

그 이유를 알기 위해서는 사고에 대해 정확하게 파악해야 합니다. 부정확한 버전은 '로봇의 패닉(robot-panic)' 이야기이지만, 정확한 버전은 '거버넌스(governance)' 이야기이기 때문입니다. 사건의 발단은 인간의 뺑소니였습니다. 일반 자동차를 운전하던 사람이 보행자를 들이받았고, 그 충격으로 보행자가 인접 차선으로 튕겨 나갔습니다. Cruise 차량이 횡단보도로 급회전하거나, 신호를 잘못 읽거나, 갑자기 누군가를 들이받은 것이 아니었습니다. 이 차량은 다른 운전자에 의해 만들어진 불가능한 상황을 마주하게 되었으며, 차량의 첫 번째 대응이었던 비상 정지(emergency stop)는 논쟁의 여지는 있으나 적절한 조치였습니다. 구체적이고 치명적인 실패는 좁고 기계적인 부분이었습니다. 차량의 갓길 정차(pullover) 루틴이 차량 아래에 사람이 있다는 사실을 인식하지 못했고, 그래서 주행해서는 안 될 20피트를 주행해 버린 것입니다.

이것은 실제 결함이며, Cruise는 바로 그 동작을 수정하기 위해 전체 차량(fleet)을 리콜했습니다. 하지만 인간이 피해자를 자신의 차선으로 던져버린 직후, 시스템이 강력한 비상 정지를 실행한 상황에서 발생한 단 하나의 결함은 규제 시스템이 흡수하도록 설계된 종류의 실패입니다. 차량 군단은 리콜될 수 있습니다. 소프트웨어는 패치될 수 있습니다. 규제 기관들은 자율주행(autonomy)에 파멸적인 엣지 케이스(edge cases)가 발생할 것임을 이해하고 있으며, 전체 면허 체계는 단 하나의 조건 하에 이러한 사례들을 소화하기 위해 존재합니다. 그 조건은 바로 그런 일이 발생했을 때, 당신이 그들에게 진실을 말해야 한다는 것입니다.

기록을 누락한 설명

Cruise는 그들에게 진실을 말하지 않았고, 세 개의 서로 다른 당국에 의해 세 번이나 적발되었습니다. 바로 이 부분이 나쁜 밤을 치명적인 사건(terminal event)으로 바꾸어 놓은 지점입니다.

캘리포니아 차량국(DMV)이 먼저 움직였습니다. 사고 발생 3주 후인 2023년 10월 24일, DMV는 Cruise의 무인 주행 배치 및 테스트 허가를 즉시 효력이 발생하도록 정지시켰습니다. 그들이 밝힌 근거는 직설적이었습니다. DMV는 Cruise가 영상을 은폐했다고 밝혔습니다. 구체적으로, Cruise가 규제 당국에 사고 경위를 설명할 때, 차량이 여성을 끌고 간 부분인 길가 정차(pullover) 기동 영상은 보여주지 않았으며, 초기 정지 이후 추가적인 움직임이 있었다는 사실도 공개하지 않았습니다. DMV는 해당 차량을 운행한 운영사가 아닌 다른 경로를 통해 20피트의 이동 사실을 알게 되었다고 밝혔습니다. 정지 명령은 또한 Cruise가 자사 기술의 안전성을 허위로 표현했다는 점을 지적했습니다. DMV가 건드리지 않은 유일한 허가는 안전 운전사(safety driver)가 탑승한 상태에서의 테스트였으며, 이는 해당 기관의 문제가 기계가 아니라 기업에 있었음을 말해줍니다.

이어 미국 도로교통안전국(NHTSA)이 나섰습니다. 2024년 말, NHTSA는 Cruise의 사고 보고서에서 2차 움직임인 끌림 현상을 완전히 누락했다는 이유로 150만 달러의 민사 벌금을 부과했습니다. 여기서 드러나는 세부 사항은 거의 수술적일 만큼 정교합니다. Cruise는 결국 NHTSA에 끌림 현상이 담긴 영상 사본을 제공했음에도 불구하고, 사고 발생 10일 후에 제출된 이후의 서류를 포함하여 작성된 보고서를 다시 돌아가 수정하지 않았습니다. 증거와 그 증거에 대한 설명이 동일한 기관의 파일 안에 서로 모순된 채로 존재했음에도, Cruise는 허위 기록을 그대로 두었습니다. NHTSA의 자율주행 차량(autonomous-vehicle) 감독은 운영사가 자신의 사고를 정확하고 제때 보고하는 것을 바탕으로 운영됩니다. Cruise는 이 두 가지를 모두 지키지 않았습니다.

마지막으로 법무부(Department of Justice, DOJ)입니다. 2024년 11월, Cruise는 연방 조사를 영향력 아래 두기 위해 허위 보고서를 제출했음을 인정하며, 기소 유예 합의(deferred prosecution agreement)를 체결하고 50만 달러의 형사 벌금을 납부했습니다. 이 두 가지 처벌은 서로 다른 사안에 대한 것이며, 이를 구분하여 이해하는 것이 중요합니다. NHTSA에 지불한 150만 달러는 사고를 완전히 보고하지 않은 것에 대한 것이고, DOJ에 지불한 50만 달러는 연방 조사를 왜곡하기 위해 허위 보고서를 제출한 것에 대한 것입니다. 이 두 내용을 종합해 보면, 생존 가능한 사고에 직면했을 때 사실을 공개하는 대신, 주 규제 기관, 연방 안전 기관, 그리고 연방 검찰 순으로 사건의 흐름을 관리(manage the story)하기로 선택한 기업의 모습을 보여줍니다.

창립자이자 최고경영자(CEO)인 Kyle Vogt는 운영 중단 후 몇 주 뒤인 2023년 11월에 사임했습니다. 회사는 직원의 약 4분의 1을 해고했습니다. 하지만 이는 증상일 뿐이었습니다. 근본적인 질병은 차량이 기록한 데이터와 회사가 기록했다고 주장한 내용 사이의 간극이었습니다.

왜 100억 달러로도 되돌릴 수 없었는가

여기에 그 메커니즘이 있으며, 이것이 전체 교훈입니다. 자율주행차가 공공 도로에서 운행될 수 있도록 허용하는 전체 법적 구조는 자기 보고 데이터(self-reported data)를 기반으로 구축됩니다. 모든 로보택시에 동승하는 규제 기관은 없습니다. 주 정부는 귀하의 차량 함대(fleet)가 무엇을 하는지 독립적으로 기록하지 않습니다. 주 정부는 무언가 잘못되었을 때 정확하고 신속하게 보고하겠다는 귀하의 약속을 근거로, 보행자 사이에서 2톤 무게의 기계를 운행할 수 있는 면허를 부여합니다. 그 약속은 단순한 준수(compliance) 절차가 아닙니다. 그것이 바로 실제 자산입니다. 그것은 귀하가 규제 기관에 실제로 판매하고 있는 것이며, 그 어떤 센서나 모델보다도 근본적인 것입니다.

Cruise는 그 자산을 단 한 번의 편집 결정에 소진했습니다. DMV(차량국)가 Cruise가 최악의 부분을 제거한 버전의 사건 경위를 제출할 것이라고 결론을 내린 순간, Cruise가 향후 제출할 모든 보고서는 의심의 대상이 되었습니다. 차량 함대(fleet)를 회상하는 방식으로는 그 발견(discovery)을 회상할 수 없습니다. 소프트웨어 결함은 귀하의 차량에 관한 사실이지만, 허위 진술을 하려는 입증된 의도는 귀하의 회사에 관한 사실이며, 이는 전체 체제가 의존하는 유일한 채널을 오염시킵니다. 규제 기관이 스스로의 실패를 공개할 것이라고 믿을 수 없는 로보택시 운영자는 확장(scale)할 경로가 없습니다. 확장이란 더 많은 차량, 더 많은 사고, 그리고 규제 기관이 이제는 왜곡되었다고 가정해야만 하는 더 많은 보고서를 의미하기 때문입니다. 100억 달러는 작동하는 기술을 샀습니다. 하지만 그것은 신뢰성을 다시 살 수는 없었습니다. 그리고 신뢰성이야말로 실제로 하중을 견디고 있는(load-bearing) 부분이었습니다. 2024년 12월 GM의 철수는 대차대조표가 말하는 유일한 언어로 내려진 운영자의 정직한 판결입니다. 즉, 남은 가장 저렴한 선택지는 중단하는 것이었습니다.

요약은 원천(source)이 아니다

로보택시를 걷어내고 보면 이것은 출처(provenance)의 실패입니다. 이는 누군가가 기록과 대조해 보지 않기를 바라며 계정(account)을 넘겨줄 때마다 나타나는 것과 동일한 실패입니다. 작성자가 한 번도 열어보지 않은 논문을 의역한 인용문. 의문을 불러일으킬 만한 부분을 반올림해 버린 지출 보고서. 블랙박스(dashcam) 없이 사고를 설명하는 보험 청구서. 모든 경우에 두 가지 객체가 존재합니다. 실제로 일어난 일과 그 일이 일어났다는 설명(account)입니다. 그리고 전체적인 실패는 그 둘 사이의 공간에 존재합니다. Cruise는 기록을 가지고 있었습니다. 차량이 정확히 무엇을 했는지 보여주는 20피트의 영상을 가지고 있었습니다. 하지만 그들이 규제 기관에 준 것은 요약본이었고, 그 요약본은 기록의 가장 최악이자 진실된 20피트를 누락했습니다.

우리는 이전에도 신뢰란 누군가의 말을 그대로 받아들이는 것이 아니라 출처를 추적할 수 있어야 하는 것이라는 점과, 자동화된 시스템의 확신에 찬 설명이 틀린 것으로 드러났을 때 누가 책임을 지는지에 대해 기술한 바 있습니다. Cruise는 동일한 원칙이 적용되는 10억 달러 규모의 사례입니다. 이는 조직이 설명(account)을 기록(record)과 교체 가능한 것으로 취급하고, 설명이 보여주기에 더 안전한 것이라고 결정했다가, 그 설명을 보고 있는 사람들이 결국 기록 또한 볼 수 있다는 사실을 깨닫게 될 때 발생하는 현상입니다. 그 간극은 숨겨진 채로 남아있지 않습니다. 결코 그렇지 않습니다. 그저 누군가가 두 가지를 나란히 맞추어 놓을 때까지 서버나 사건 파일 속에서 기다릴 뿐입니다.

실질적인 잔여물 (The practical residue)

따라서 자동차를 만들든 만들지 않든, 100억 달러 규모의 난파 사고에서 실제로 얻어야 할 교훈은 다음과 같습니다.

만약 여러분이 자체 보고된 데이터 (self-reported data)를 기반으로 작동하는 무엇인가를 운영하고 있다면 — 그리고 감사인에게 로그를 보여주는 AI 시스템부터, 사고 보고서를 제출하는 협력업체, 그리고 그들을 신뢰하는 상급자에게 상태 업데이트를 보고하는 팀에 이르기까지 이제 거의 모든 이들이 그러합니다 — 여러분이 실제로 거래하고 있는 자산이 무엇인지 이해하십시오. 그것은 여러분이 만든 기술의 정교함이 아닙니다. 그것은 그것에 대한 여러분의 설명(account)의 신뢰성입니다. 이 둘은 별개의 것이며, 두 번째 것이 첫 번째보다 더 가치가 있습니다. 왜냐로 인해 두 번째 것이 기록을 직접 볼 수 없는 모든 하류(downstream) 단계의 사람들이 의존할 수밖에 없는 것이기 때문입니다.

이는 결정적인 순간이 사고 그 자체가 아니라는 것을 의미합니다. 사고는 생존 가능합니다. 규제 기관, 감사인, 고객, 그리고 상사 모두가 정직하게 공개된 나쁜 사건을 흡수할 수 있는 메커니즘을 갖추고 있기 때문입니다. 생존 불가능한 순간은 그 이후에 내려지는 작고 조용한 결정, 즉 전체 기록을 검토하며 그중 얼마만큼을 전달할지 결정하는 순간입니다. 그것이 바로 '20피트(twenty feet)'입니다. 그 순간을 위한 단 하나의 질문 테스트가 있으며, 중요한 어떤 것에 대한 보고를 보내기 전에 이를 습관화할 가치가 있습니다. '만약 내가 나중에 이것을 전달받는 사람이 원본 기록을 직접 보게 된다면, 그들은 내가 쓴 글을 통해 정보를 얻었다고 느낄 것인가, 아니면 오도되었다고 느낄 것인가?' 만약 정직한 답변이 '오도되었다'라면, 당신은 정확히 Cruise가 처했던 상황에 서 있는 것입니다. 그리고 당신이 가질 수 있는 유일한 저렴한 선택은 바로 지금 당신이 할 수 있는 것, 즉 '20피트'를 포함하는 것입니다. 상황을 매끄럽게 다듬으려는 본능, 더 나아 보이는 버전을 보여주려는 본능, 그리고 수정하는 것이 질문을 불러일으킬까 봐 허위 보고를 그대로 두려는 본능은 GM에게 100억 달러와 작동하는 기술을 앗아간 바로 그 본능입니다. 공개(disclosure)는 제품 주변의 부수적인 비용(overhead)이 아닙니다. 신뢰를 바탕으로 운영하는 누구에게나, 공개가 곧 제품입니다. Cruise는 대도시를 스스로 주행할 수 있는 자동차를 만들었지만, 그 자동차가 무엇을 했는지 말하는 것을 신뢰할 수 없다는 사실을 스스로 증명했습니다. 그리고 결국 중요해진 것은 첫 번째 사실이 아니라, 바로 그 두 번째 사실이었습니다.

출처