오해의 기술

시스템을 숨기는 가장 쉬운 방법은 그것을 보이지 않게 만드는 것이 아닙니다.

사람들이 시스템의 잘못된 계층(layer)을 두고 논쟁하게 만드는 것입니다.

그것이 제가 계속해서 보고 있는 모습입니다.

사람들은 AI가 코드를 작성했는지에 대해 논쟁합니다.

그들은 출력이 진짜인지에 대해 논쟁합니다.

그들은 스크린샷이 가짜인지에 대해 논쟁합니다.

그들은 말하는 사람이 적절한 자격(credential), 적절한 직함(title), 적절한 보증(vouch)을 갖추었는지에 대해 논쟁합니다.

그동안 실제 작동 계층(operating layer)은 다른 어딘가에 있습니다.

그것이 오해입니다.

단 하나의 오해가 아닙니다.

오해들의 하나의 기술(art)입니다.

표면이 실체로 취급됩니다.

중간 매개자(middleman)가 출처(source)로 취급됩니다.

영수증(receipt)이 결과(outcome)로 취급됩니다.

익숙한 느낌이 진실로 취급됩니다.

가시적인 계층(visible layer)이 작동 계층(operating layer)으로 취급됩니다.

일단 그런 일이 발생하면, 사람들은 시스템을 정면으로 응시하면서도 정작 중요한 부분은 보지 못할 수 있습니다.

코드는 이미 완전히 이해되지 않고 있다

어디에서나 들을 수 있는 조언은 간단합니다. 만약 AI를 사용한다면, 그것이 작성한 코드를 이해하라는 것입니다. 저도 이해합니다. 읽을 수 없는 코드를 프로덕션(production)에 붙여넣는 것보다 낫고, 모델을 신탁(oracle)처럼 취급하는 것보다 나으며, 스스로 설명할 수 없는 일을 도구가 수행하게 두는 것보다 낫습니다. 어느 정도까지는 좋은 조언입니다. 문제는 그 조언이 어디까지 유효하느냐인데, 왜냐하면 그것은 이미 진짜 문제의 절반도 되지 않는 작은 부분이기 때문입니다.

당신을 멈춰 세워야 할 부분이 바로 여기입니다. 세계에서 가장 진보된 AI (Artificial Intelligence)를 만드는 사람들조차 여전히 자신들이 만든 모델의 내부에서 어떤 일이 일어나는지 역공학 (Reverse-engineering)을 통해 알아내고 있습니다. Anthropic은 자체 해석 가능성 (Interpretability) 연구에서 이를 명확히 밝힌 바 있습니다. 그들은 현대의 모델들을 대부분 블랙박스 (Black boxes)라고 설명합니다. 입력 (Input)이 들어가면 답변이 나오지만, 그 특정 답변이 나온 실제 이유는 기계에서 그냥 읽어낼 수 있는 것이 아닙니다. 그들은 자신들의 모델 중 하나 내부에서 수백만 개의 내부 특징 (Internal features)을 매핑 (Mapping)해냈지만, 동시에 이것은 작업의 아주 작은 일부일 뿐이며, 특징을 찾아내는 것이 모델이 그것들을 어떻게 사용하는지 이해하는 것과 같지는 않다고 말했습니다.

이 사실을 곱씹어 보십시오. 최전선에 있는 사람들이 자신들이 만든 것을 들여다보기 위해 여전히 현미경을 만들고 있다면, 우리 같은 사람들에게 "그저 코드를 이해하는 것"이 결승선이 될 수는 없습니다. 결승선은 이해 (Comprehension)보다 더 강력한 무언가여야 합니다. 그것은 거버넌스 (Governance)여야 합니다. 다음과 같은 질문을 던지고, 실제로 답할 수 있어야 합니다.

이 시스템은 무엇을 건드릴 수 있도록 허용되었는가? 무엇을 주장할 수 있도록 허용되었는가? 시스템이 작동하는 경계선을 누가 작성했는가? 시스템은 자신을 심판하기로 되어 있는 체크리스트를 수정할 수 있는가? 시스템이 행동하기 전에 제출해야 하는 영수증 (Receipts)은 무엇인가? 만약 틀렸을 경우 누가 책임을 지는가? 그리고 정확히 어디에서 멈추는가?

이것은 이해를 포기하는 것이 아닙니다. 가장 중요한 한 가지, 즉 이해 자체가 확장(Scaling)되는 데 한계가 있는 지점이 어디인지, 그리고 그 이후에 무엇이 그 경계선을 지켜야 하는지를 이해하는 것입니다.

우리가 왜 이야기하지 않는지 질문을 던지는 영화

저만이 이 문제를 주변을 맴돌며 고민하고 있는 것이 아닙니다. 2026년 초, <Navalny>로 오스카상을 수상한 감독 Daniel Roher는 Charlie Tyrell과 함께 The AI Doc: Or How I Became an Apocaloptimist라는 다큐멘터리를 공동 연출했습니다. 그가 이 영화를 만든 이유는 단순했습니다. 곧 아버지가 될 예정이었고, 자신의 아이가 태어날 세상을 이해하고 싶었기 때문입니다. 그래서 그는 실제로 이 분야를 잘 알고 있을 24명 이상의 인물들에게 질문을 던졌습니다. 한 영화 안에 Sam Altman, Dario Amodei, Daniela Amodei, Ilya Sutskever와 같은 개발자(builders)들, 비평가(critics), 연구자(researchers)들, 그리고 Tristan Harris, Emily Bender, Yoshua Bengio, Eliezer Yudkowsky가 함께 등장합니다.

제 기억에 남는 부분은 이 영화가 도달하는 지점입니다. 이 영화는 AI가 좋은지 나쁜지를 말해주려 하지 않습니다. 영화에 관한 인터뷰에서 Roher는 아포칼립티미즘 (apocaloptimism)을 종말(apocalypse)과 맹목적인 낙관주의(blind optimism) 사이의 강요된 선택을 거부하는 것이라고 설명하며, 핵심은 운전석에 계속 앉아 있는 것이라고 말했습니다. 바로 그 지점이 영화 자체의 프레임 안에서 말해지는 운영 계층(operating-layer)의 논제입니다. 그리고 이것은 그들의 것이 아닌, 저만의 해석입니다. 시끄러운 대화들은 모두 표면에 머물러 있습니다. 그것이 좋은가, 나쁜가, 내 일자리를 뺏을 것인가와 같은 것들 말입니다. 거의 아무도 나누지 않는 조용한 대화는 그 아래에 있는 계층, 즉 실제로 무엇이 구축되고 있으며 누가 그것을 제한(bound)할 수 있는지에 관한 것입니다. 우리는 아직 그 부분에 대해서조차 이야기하고 있지 않습니다.

그리고 이것은 영화의 메시지가 아닌, 저 개인의 견해이며 저의 것으로 받아들여 주시기 바랍니다. 여러분이 전달받는 모델의 버전은 대중에게 공개되는 버전이며, 모든 기관이 자신들이 보여주는 것과 내부에 숨겨둔 것 사이의 거리를 조절하는 방식과 마찬가지로, 출시를 위해 형성되고 튜닝(tuning)되며 조정(fitted)된 것입니다. 따라서 정직한 질문은 결코 'AI가 무엇을 할 수 있는가'에만 국한되지 않았습니다. 그것은 우리가 보여지는 것과 실제로 구축되고 있는 것 사이의 거리, 그리고 그것을 만든 바로 그 사람들로 가득 찬 방 안에서도 그들조차 자신들이 무엇을 만들었는지에 대해 여전히 합의하지 못하고 있다는 사실에 관한 것입니다. Roher는 자신의 태도를 정의하기 위해 '아포칼립트이미스트 (apocaloptimist, 종말론적 낙관주의자)'라는 단어를 선택했습니다. 이는 이분법을 거부하며 폭풍과 햇살을 동시에 응시하는 사람을 의미합니다. 그것이 제가 지향하는 바와 가깝습니다. 숭배도 아니고, 공포도 아닙니다. 눈은 뜨고 있으며, 양손은 여전히 제어 장치(controls) 위에 올려둔 상태 말입니다.

가시적 계층(Visible Layer)은 운영 계층(Operating Layer)이 아니다

이러한 현상은 단지 AI 모델 내부에서만 일어나고 있는 것이 아닙니다. 우리가 살아가고 있는 거의 모든 시스템 전반에서 일어나고 있으며, 우리 대부분은 그 표면만을 만질 뿐입니다.

여러분이 소유한 가장 친숙한 것부터 시작해 봅시다. 주머니 속의 스마트폰은 수십 년 동안 우리 삶과 함께해 왔지만, 대부분의 사람들은 여전히 그 기능의 아주 일부분만을 사용합니다. 그들은 설정의 절반이 무엇을 바꾸는지, 권한(permissions)이 실제로 무엇을 허용하는지, 어떤 데이터가 기기를 떠나는지 혹은 어디로 가는지 알지 못합니다. 이는 그들이 부주의해서가 아니라, 표면(surface) 자체가 여러분이 보아야 할 전부가 되도록 설계되었기 때문입니다. 이제 이것을 AI와 비교해 보십시오. 우리는 대부분의 사람들이 아직 이해할 수 없는 기술을 완전히 이해하라는 요구를 받고 있는 반면, 정작 20년 동안 매일 손에 들고 다녔던 기술조차 제대로 이해하지 못하고 있습니다. 이해의 기준선(comprehension bar)은 이미 비현실적이었으나, 이제는 대부분의 사람들이 결코 도달할 수 없는 곳으로 옮겨져 버렸습니다.

당신의 주머니 속에 있는 네트워크를 생각해 보십시오. 당신이 경험하는 것은 전화기, 신호 막대, 로딩되는 영상이며, 그 표면은 당신이 생각할 수 있는 유일한 계층(layer)이 되도록 설계되었습니다. 그 아래에서 구축되고 있는 것은 단순히 더 빠른 인터넷만이 아닙니다. 좋은 사례부터 시작해 봅시다. 왜냐하면 그 좋은 사례들은 실재하기 때문입니다. 5G를 위한 IMT-2020 요구사항에는 1밀리초(ms)만큼 낮은 초신뢰·저지연 통신(ultra-reliable low-latency communication) 목표와 제곱킬로미터당 최대 100만 개의 기기에 달하는 대규모 사물 통신(massive machine-type communication) 밀도가 포함되어 있습니다. 이것은 단순히 영화 다운로드가 더 빨라지는 수준이 아닙니다. 그 1밀리초는 외과 의사가 3,000킬로미터 떨어진 곳에 있는 파킨슨병 환자에게 뇌 장치를 이식할 수 있게 해준 차이이며, 5G 링크를 통해 실시간으로 기구를 조작할 수 있게 해준 차이입니다. 이는 산업 자동화, 센서, 항만, 차량, 그리고 실시간으로 협업하는 기계들을 위해 구축된 계층입니다. 여기에 위성을 그 위에 쌓아 올리면, 상황은 덜해지는 것이 아니라 더욱 아름다워집니다. T-Mobile과 SpaceX는 Starlink direct-to-cell을 기존의 휴대폰 하드웨어와 통신사 주파수(spectrum)를 사용하여 일반 휴대폰이 위성을 통해 연결되는 방식으로 설명했습니다. 허리케인 헬렌(Hurricane Helene)이 발생했을 때, SpaceX와 T-Mobile은 피해 지역에서 Starlink direct-to-cell 서비스에 대한 임시 승인을 받았으며, 지상 네트워크가 손상된 동안 최선 노력(best-effort) 기반으로 긴급 경보와 기본적인 문자 메시지 서비스를 제공했습니다. 그것이 바로 홍수에 고립된 사람에게 도달하는 네트워크입니다. 이 점을 기억하십시오. 이것은 사실이며 매우 중요하기 때문입니다.

이제 반대편에서의 동일한 사실을 살펴보겠습니다. 재난 상황에서 전화기에 도달하는 바로 그 역량은, 여전히 기존의 기지국 지도 밖의 거리를 가로질러 도달하는 역량입니다. 저지연 통신 (low-latency communication)을 위해 설계된 네트워크는 저지연 제어 루프 (low-latency control loops) 또한 전달할 수 있습니다. 1제곱킬로미터 내의 백만 개 장치를 수용할 수 있을 만큼 밀도가 높은 계층은, 백만 개의 사물을 감지할 수 있는 계층이기도 합니다. 이 중 그 어느 것도 악한 것이 아닙니다. 이 모든 것은 단지 힘 (power)일 뿐이며, 핵심은 그 어떤 음모론보다도 조용합니다. 전화기는 표면일 뿐입니다. 운영 계층 (operating layer)은 당신에게 결코 보여준 적이 없고, 결코 제대로 질문받은 적도 없는 행성 규모의 스택 (planet-scale stack)입니다.

이제 결정이 실제로 어디에서 내려지는지 보십시오. 대부분의 사람들은 AI를 챗봇, 즉 당신이 글자를 입력하는 상자로 접합니다. 그것이 표면입니다. 그 아래에는 다른 종류의 인프라 (infrastructure)가 자리 잡고 있으며, 다시 한번, 그것이 진정으로 무엇을 하는지부터 시작해 봅시다. Palantir의 온톨로지 문서 (Palantir's ontology documentation)는 객체 유형 (object types), 링크 유형 (link types), 액션 (actions), 함수 (functions), 권한 (permissions), 그리고 애플리케이션 (applications)으로 구성된 운영 계층을 설명합니다. 쉬운 말로 풀어서 설명하자면, 이는 조직의 흩어진 데이터, 즉 기록, 센서, 지도, 문서들을 가져와서 사람과 소프트웨어가 읽고, 추론하고, 실행할 수 있는 연결된 모델로 변환합니다. 그것은 진정으로 강력합니다. 이는 조직이 자신을 하나의 전체로서 바라볼 수 있도록 돕는 종류의 것이며, TIME은 Palantir가 지뢰 제거 및 전쟁 범죄 조사를 위한 우크라이나의 데이터 및 AI 스택의 일부였으며, 실제 사람들을 실제 위험으로부터 구해낼 수 있는 업무를 수행해 왔다고 보도했습니다.

그리고 여기 그 동일한 기계의 다른 측면이 있습니다. 조직의 데이터를 바탕으로 소프트웨어가 추론(reasoning)하고 행동을 트리거(trigger)할 수 있게 하는 온톨로지(ontology)는 설계상 답변 계층(answer layer)이 아닌 행동 계층(action layer)입니다. 그것은 단순히 무언가를 알려주는 데 그치지 않습니다. 무엇을 할 수 있는지를 구조화하는 데 도움을 줍니다. 그리고 이 계층은 실행의 무게가 가장 큰 기관들, 즉 군사, 정보, 정부 및 공공 부문 운영에 가장 밀접하게 위치합니다. 조직의 조율을 돕는 것과 동일한 종류의 시스템이 정부가 인구 전체에 걸쳐 행동하도록 도울 수 있습니다. 제가 미래를 예측한다고 말하는 것이 아니며, 만화 같은 버전의 기술에는 관심이 없습니다. 정교한 버전은 만화보다 훨씬 더 무겁습니다. 챗봇(chatbot)은 표면일 뿐입니다. 운영 계층(operating layer)은 통합된 데이터가 조용히 행동으로 변하는 곳이며, 대부분의 사람들은 그 이름조차 들어본 적이 없습니다.

그리고 우리는 숨겨진 계층이 빛 아래로 끌어올려질 수 있다는 증거를 이미 경험했습니다. 스노든(Snowden) 이전에는 많은 사람이 대규모 디지털 감시 인프라를 과장되었거나 믿기 힘든 것, 즉 편집증적인 사람만이 믿는 종류의 것으로 취급했습니다. 스노든 이후, 공적 기록은 한때 PRISM이라 불렸던 하류(downstream) 수집과 Section 702에 따른 상류(upstream) 수집과 같은 실제 프로그램들을 설명해야 했고, 그 한계와 합법성, 그리고 안전장치에 대해 공개적으로 논쟁해야 했습니다. 이를 검토한 감독 위원회는 이것이 모든 사람의 콘텐츠를 대량 수집(bulk collection)하는 것이 아니라고 신중하게 언급했는데, 이러한 미묘한 차이는 중요합니다. 과도하게 주장하는 것 또한 그 자체로 틀린 방식이기 때문입니다. 하지만 논거에 실제로 도움이 되는 부분은 바로 이것입니다. 숨겨진 계층은 숨겨진 채로 남아 있지 않았습니다. 그것은 표면으로 드러났고, 이름이 붙여졌으며, 답변을 강요받았습니다. 그것이 모든 공포가 사실이었다는 증거는 아닙니다. 그것은 더 나은 무언가에 대한 증거입니다. 운영 계층은 다시 빛 아래로 끌어올려져 책임을 물을 수 있게(accountable) 만들 수 있다는 것입니다. 그것이 제가 요구하는 전부이며, 이미 현실 세계에서 일어나고 있는 일입니다.

논쟁이 시작되기 전에 씨앗은 심어진다

만약 그 패턴이 그토록 눈에 보일 정도라면, 진짜 질문은 왜 거의 아무도 그것을 보지 못하는가 하는 점입니다. 게으른 답변은 사람들이 어리석기 때문이라는 것입니다. 저는 그 말을 믿지 않습니다. 제가 말하는 사람들은 영리합니다. 그들은 사업을 운영하고, 아이를 키우며, 대부분의 사람을 무너뜨릴 만한 일들 속에서도 살아남습니다. 그들은 머리가 나빠서 당한 것이 아닙니다. 그들은 준비되어 있었던 것입니다.

제 말은 이렇습니다. 논쟁이 시작되기도 전에 누군가가 그 논쟁을 일축(dismiss)하게 만들 수 있다면, 당신은 결코 논쟁에서 이길 필요가 없습니다. 당신은 초기에 반사 작용(reflex)을 심어두고, 그것이 자리 잡기를 기다립니다. 진짜 질문이 나타날 때쯤이면, 신체는 이미 어느 쪽으로 기울어야 할지 알고 있으며, 그것은 마치 그들 자신의 판단인 것처럼 느껴집니다. 하지만 그렇지 않습니다. 그것은 마침내 꽃을 피운 씨앗일 뿐입니다.