성(性), AI, 그리고 종말

만약 당신의 삶에 AI 안전성과 세상의 종말에 대한 걱정이 최근 들어 생겼다면, 아마도 사직서 때문일 것입니다.

2026년 9월 8일, Jacob Coxon이라는 연구원이 Anthropic을 떠났습니다. Anthropic은 미국에서 두 개의 주요 AI 연구소 중 하나로, 경쟁사들에 비해 신중한 이미지를 구축하려 노력해 온 곳입니다. 그는 이전 3년간 OpenAI와 Anthropic에서 대규모 모델을 가능하게 하는 엔진룸 작업인 사전 학습(pretraining) 연구를 수행했습니다. 그리고 그의 작별 노트에는 다음과 같은 내용이 포함되어 있었습니다. “AI를 개발하는 사람들은 이것이 10년 안에 우리 모두를 죽일 수 있다고 진심으로 믿는다. 이것은 마케팅 장난이 아니다.” 그는 스톡옵션(equity)이 만기되기 두 달을 앞두고 회사를 떠났습니다. 이 게시물은 하루 만에 백만 번 이상 조회되었습니다.

놀랍게도 그의 동료들은 그를 바로잡으려 서두르지 않았습니다. Anthropic에서 정렬 과학(alignment science)을 이끄는 Evan Hubinger는 몇 시간 안에 Coxon의 말이 맞다고 게시했습니다. 즉, AI가 정말로 모든 인류를 죽일 수 있다고 진심으로 믿으며, 그가 10년 내에 위험에 처할 개인적인 확률은 10분의 1보다 높다는 것이었습니다. 20여 명 이상의 의원들이 무언가 조치가 필요하다고 말했습니다. 자신만의 최첨단 연구소(frontier lab)를 건설하고 있는 Elon Musk는 이 모든 것을 심리작전(psy-op)이라고 불렀고, 주류 언론 매체들은 예상대로 뒤따른 광풍에 숨 막히는 보도를 했습니다.

이 경고의 심각성을 현실적으로 평가하기 위해서는 이 경고를 하는 사람들을 이해할 필요가 있습니다. 세상의 종말에 대해 가장 크게 목소리를 내는 사람들은 매우 특정한 25세 전후의 인터넷 하위문화 출신입니다. 그들은 자신들을 다른 누구보다 더 명확하게 생각하는 사람들의 커뮤니티라고 인식합니다. 실리콘밸리 외부에서 이 하위문화는 희미해 보이며, 비정상적으로 괴짜 같은 문학적 취향을 가진 팬덤처럼 보입니다. 하지만 기술 산업 내부에서는 전혀 그렇지 않습니다. 이곳의 작가들은 명성을 만들거나 무너뜨립니다. 이곳의 동문들은 'AI 안전성(AI safety)'이 무엇을 의미하는지 결정하는 연구소, 안전 기관, 자선 단체에 직원으로 포진해 있습니다. 이들의 주장, 결혼 생활, 불화, 그리고 성적 취향은 현재 종의 미래에 대해 대중의 신뢰를 구하고 있는 조직들의 구조와 깊숙이 얽혀 있습니다.

Coxon이 사임하기 열 달 전인 2025년 12월, 거의 500명이 버클리 음악당에 모여 인류가 종말을 맞을 가능성에 대한 기념식을 가졌습니다. 라이브 밴드와 28명으로 구성된 합창단이 있었습니다. 의식적인 독서도 있었습니다. 노래와 연설들이 방을 인류의 먼 과거에서 불확실한 미래로 이끌어가는 동안, 샹들리에가 하나씩 어두워졌습니다. 참석자 중에는 인공지능(AI)을 구축하거나 통제하려는 조직의 직원들이 많이 포함되어 있었습니다. 가장 어두운 순간에, 주최자가 무대 가장자리에 앉아 목소리가 떨리며 방에 말했습니다. “여러분… 우리 아마 살아남지 못할 것 같아요.”

주최자는 웹 개발자이자 게임 디자이너, 음악가이며 오랜 기간 합리주의 커뮤니티 기관을 구축해 온 Raymond Arnold였습니다. 가톨릭과 무신론 사이에서 자란 Arnold는 성인이 되어 합리주의 운동을 발견했고, 이것이 자신의 신성한 감각 능력을 “근본적으로 확장”시켰다는 것을 알게 되었습니다. 2011년 그는 뉴욕의 아파트에 열전구, 플라즈마 볼, 라이트세이버 등으로 가구를 갖추고 친구 19명을 초대하여 새로운 세계관을 위한 휴일을 베타 테스트했습니다. 그들은 첫 겨울 캠프파이어에 대해 노래하고 인류의 미래를 형성하는 기술들에 대해 이야기한 후, 마지막 양초를 끄고 어둠 속에 함께 앉았습니다. 2년 후 Arnold는 이 실험을 Brighter Than Today라는 공개적인 공연으로 발전시켰습니다. 이 버전은 곧 뉴욕과 베이 에어리야에서 북미, 유럽 및 그 너머의 도시들로 퍼져나갔습니다.

Arnold는 처음에 Secular Solstice를 광범위한 인본주의적 휴일로 상상했지만, 이것은 합리주의 달력의 주요 축제일이 되었습니다. 이는 전적으로 우연이 아니었습니다. 그는 2011년부터 이 커뮤니티를 조직해 왔으며, 현재 LessWrong과 물리적 중심지 역할을 하는 버클리 컨퍼런스 캠퍼스인 Lighthaven을 함께 운영하는 데 도움을 주고 있으며, 자신의 역할을 진심으로 “마을 사제”의 역할이라고 설명했습니다. Solstice는 지속 가능한 운동에 필요한 문화 기술을 구축하려는 그의 시도였습니다. 즉, 노래와 독서의 정전(canon), 빛에서 어둠으로 그리고 다시 빛으로 이어지는 의식적 진행 과정, 그리고 지리적으로 흩어진 신자들이 한 공간에 모일 수 있는 연례적인 기회를 마련하는 것이었습니다.

2025년까지 Arnold는 AI 재앙의 확률이 50%를 초과할 것으로 추정했으며, 자신이 주관하는 의식이 심리적으로 건강하게 종말을 사색하기에 더 이상 적합하지 않다고 우려했습니다. 그는 Solstice의 제작권을 다른 주최자들에게 대부분 넘겼지만, 모닥불 주변에서 애프터케어(aftercare) 모임을 갖춘 ‘마지막 솔스티스’가 될 것이라고 생각되는 것을 재구성하는 데 돌아왔습니다. 그 저녁은 종교들이 전통적으로 제공해 온 모든 것들을 공급했습니다: 동료애, 의식, 우주 속 인류의 자리에 대한 공유된 이야기, 그리고 당신이 죽을 것이라는 지식을 가지고 앉아 있을 곳. 어쩌면 곧. 어쩌면 친구들이 만든 무언가 때문에.

주류 미디어의 많은 불운한 단점 중 하나는 이러한 것들을 신뢰성 있게 보도하는 것이 너무 터무니없어서 독자들이 진지하게 받아들이기를 기대할 수 없다는 것입니다. 하지만 저는 현재 우리가 네오파시즘(neo-fascism), 신정적 디스토피아(theocratic dystopia)로 미끄러지고 있으며, 예견된 종말이 이 서브컬처의 역사에 깊이 뿌리내리고 있다는 점을 철저히 설명해 드리도록 노력하겠습니다.

자, 2000년으로 돌아가 봅시다.

예언자

우리는 엘리에저 유드코프스키(Eliezer Yudkowsky)부터 시작하겠습니다. 그는 당대의 AI 회사가 존재하기도 훨씬 전에 자신이 가진 역사적 중요성에 대해 막강한 감각을 갖추고 있었습니다.

yudkowsky는 1979년에 태어나 모던 오르도녹스 유대인 가정에서 자랐습니다. 그 자신의 말에 따르면, 그는 초등학교 2학년 때 공교육 제도 전체를 포기했는데, 이는 수학 선생님이 로그(logarithm)가 무엇인지 모르는 것을 발견한 해였습니다. 그는 아홉 살에 파인만(Feynman)의 QED를 읽었고 대부분 이해했다고 합니다. 학교에서의 시간을 총 10년의 손실된 시간으로 계산하며, 건강상의 이유로 중학교 졸업 무렵 자퇴했습니다. 고등학교도, 대학도, AI 분야에서 어떤 공식적인 훈련도 받지 않았습니다.

열한 살 때 큰삼촌에게 Great Mambo Chicken and the Transhuman Condition이라는 책을 받았는데, 이 책은 크라이오닉스(cryonics) 관련자들, 우주 괴짜들, 그리고 자신의 정신을 컴퓨터에 업로드할 계획을 세우는 사람들에 대한 1990년 기록이었습니다. 그가 이 만남에 대해 스스로 요약한 내용은 간결합니다. 그 후 그는 무엇이 중요한지 알았고, 자신의 경력이 그것과 관련될 것이라는 것을 깨달았습니다. 십 대 후반에 온라인에서 트랜스휴머니스트들을 만났습니다. 2000년, 스무 살의 나이에 그는 Singularity Institute for Artificial Intelligence를 공동 설립했고, 그의 웹사이트는 이미 완전한 패키지를 제공하고 있었습니다. 여기에는 특이점(Singularity)에 관한 에세이, 트랜스휴먼 AI를 실제로 코딩하는 방법에 대한 개요 문서, 인류를 현재에서 저기로 옮기기 위한 계획서, 그리고 저자의 독특한 자격을 설명하는 자서전 등이 포함되어 있었습니다.

그의 자서전은 우화로 시작합니다. 그는 어렸을 때 어머니가 자신의 것을 빌려주는 것을 받아들이기보다는 가장 좋아하는 물총을 3층 발코니에서 던져버렸고, 그것이 포장도로에 부딪히는 소리를 들었을 때 완전함을 느꼈다고 합니다. 그는 자신을 인간 종의 기술적 변환 전문가로 소개하며, 이를 이끌 능력을 가진 몇 안 되는 살아있는 사람 중 한 명이라고 말합니다. 그는 위험을 분명하게 보고 다른 모든 사람들이 평범한 삶을 사는 동안 행동해야 하는 Buffy the Vampire Slayer에 자신을 동일시합니다.

그의 기술적인 아이디어는 앞으로 25년 동안 크게 변했지만, AI가 다가올 파국을 볼 수 있는 유일한 사람이라는 그의 느낌은 그렇지 않았습니다.

싱귤래리티 연구소(The Singularity Institute)는 여전히 존재하며, 현재 Machine Intelligence Research Institute 또는 MIRI로 이름이 바뀌었습니다. 그리고 그 설립 초기의 걱정거리는 대부분의 설립 초기 걱정거리보다 더 잘 노화했습니다. 즉, 충분히 유능한 인공지능이 인간 생존과 양립할 수 없는 목표를 추구할 수 있으며, 문제는 누군가 그것을 강력하게 만들기 전에 안전하게 만드는 것입니다. 표면적으로는 합리적이었지만, 문제는 그 위에 쌓인 모든 것이었습니다. 2025년, 그는 MIRI의 전무이사 Nate Soares와 함께 초지능 AI가 우리 모두를 죽일 수 있는 이유에 대한 책을 공동 집필하여 뉴욕 타임스 베스트셀러 목록에 올렸습니다.

2000년대 후반 동안 Yudkowsky는 두 번째 프로젝트를 개발했습니다. 바로 사람들에게 생각하는 방법을 가르치는 것이었습니다. 경제학자 Robin Hanson과 함께 공유했던 블로그 'Overcoming Bias'에 대한 그의 풍부한 글쓰기는 독자들이 'Sequences'라고 부르는 에세이 모음의 원료가 되었습니다. 2009년, LessWrong이 커뮤니티의 거점 기지로 출범했습니다. 이 연구소는 그 웹사이트를 성공적인 모집 채널이라고 설명했습니다.

그 매력을 알 수 있습니다. 이곳에는 사람들이 왜 논쟁을 잘못하고, 위안이 되는 헛소리를 믿고, 미루고, 사회적 승인을 진실과 혼동하는지에 대한 통일된 설명이 있었습니다. 그리고 여기 프로그램도 있었습니다. 자신의 편향성을 알아차리고, 신념을 수정하며, 더 잘하도록 하는 것입니다. 만약 당신이 영리하고, 불만족스러우며, 너무 많은 질문을 한다고 듣는 데 익숙한 사람이라면, 이것은 매우 설득력 있는 초대장입니다. 이는 많은 사람들을 위한 것이었습니다.

그리고 이 초대가 누구를 위해 조정되었는지 알아차려야 합니다. 왜냐하면 커뮤니티가 자체 조사에서 길게 이야기했기 때문입니다. LessWrong의 인구 통계 조사는 응답자 5명 중 거의 한 명에게서 자폐 스펙트럼 진단 또는 자가 진단을, 그리고 절반에 가까운 사람들에게서 우울증을 가진 남성 비율이 87%인 인구를 발견했습니다. 나중에 관련 커뮤니티였던 Slate Star Codex는 자체 조사를 실시하여 수천 명의 응답자를 모집했으며, 그중 절반 이상이 프로그래밍, 엔지니어링, 수학 또는 물리학 분야에서 일하는 것으로 나타났습니다. 이들이 그려내는 전기적 초상화는 일관됩니다. 여덟 살에 예외적인 재능을 가진 소년들로 식별되었고, 다른 모든 사람보다 더 똑똑하다고 들었으며, 사회적 상호작용에 어려움을 겪으면서 컴퓨터와 함께 남겨졌고, 성인이 되어서도 조숙하고, 사회적으로 오해받았으며, 어느 누구에게도 이해받지 못한 방에서 단 한 번도 빠지지 않았습니다. 실리콘밸리는 필연적으로 이러한 사람들을 끌어들입니다. 합리주의는 그들이 의미와 커뮤니티를 찾는 곳입니다.

그 운동이 그 사람에게 제공하는 것은 소속감과 꾸준한 강화 및 확증입니다. 비슷한 재능을 가진 동료 집단입니다. 사회적 세계를 마침내 이해할 수 있게 만드는 철학과 담론입니다. 그리고 가장 중독적인 것은 승진입니다. 당신은 반사회적인 사람이 아니었고, 대중들이 실제로 손상된 펌웨어(firmware)를 실행하고 있을 뿐이며; 당신은 오만하지 않았고, 종족을 위한 투쟁에서 진정한 영웅이라는 것입니다. 이는 완벽해진 gifted-and-talented 프로그램과 같습니다: 특별한 아이들을 위한 특별 세션, 워크북(The Sequences, Harry Potter and the Methods of Rationality), 연말 기념식(Solstice), 그리고 당신을 마침내 믿어주는 어른이 있는 것이죠. 메인 캐릭터 증후군(Main character syndrome)은 그 플롯에 당신을 주연으로 내세우는 종교에 가입하는 날, 더 이상 성격적 결함이 아닙니다.

또한 여기에는 함정이 있습니다. 인간의 비합리성을 극복하는 것을 중심으로 조직된 커뮤니티가 그 멤버십 자체를 멤버들이 그것을 극복했다는 증거로 취급하기 시작하는 것입니다. 합리주의자(rationalist)라는 것은 우월한 판단력의 자격증으로 변모하며, 이 우월한 판단력이 곧 커뮤니티의 주요 사회적 화폐가 됩니다.

해리 포터에 관한 복음서