AI 안전 (AI safety) 커뮤니티는 "AGI를 진지하게 받아들이는 것"이 진지하고 선한 사람이 되기 위한 전제 조건인 밈플렉스 (memeplex)를 구축했습니다. 이 밈플렉스 내부에 있을 때 (Anthropic의 많은 이들, OpenAI의 일부, 그리고 DeepMind의 소수가 그러하듯), 당신의 시야는 좁아져 세상이 극도로 제약되어 있다고 느끼게 됩니다. 미래 전체가 재귀적 자기 개선 (recursive self-improvement)을 통제하는 "절대 반지 (one ring)"를 통해서만 흐르는 것처럼 보입니다. 그래서 설령 AI 자체가 그 절대 반지를 차지할까 봐 걱정할 때조차, 당신은 스스로 그것을 통제하려는 시도 (AGI 기업을 통한 직접적 통제, 또는 AGI 거버넌스를 통한 간접적 통제)보다 더 나은 전략을 만들어낼 수 없습니다.

이것이 순수한 하이퍼스티션 (hyperstition)이라고 말하는 것은 아닙니다. 이 관점의 밑바탕에는 핵심적인 진실이 있습니다: AI는 오늘날보다 훨씬 더 지능적이고 유능해질 것입니다. 하지만 현재의 세상은 Eliezer가 원래 구상했던 미래 (세상을 기습적으로 장악하는 "지하실 상자 속의 뇌")보다 훨씬 더 넓고 인간에게 힘을 실어주는 공간입니다. 그리고 만약 이 밈플렉스가 작동하지 않았다면 세상은 훨씬 더 넓었을 것입니다. 예를 들어, Satya와 Mark와 Sundar는 OpenAI가 그들을 강제했기 때문에 비로소 AGI를 진지하게 받아들이기 시작했으며, 심지어 지금도 그들은 초지능 (superintelligence)을 정말로 믿지는 않습니다. 설령 그들이 믿는다 하더라도 대부분의 직원을 설득할 수는 없었을 것입니다. Dario와 Sam이 서로를 개인적으로 혐오하면서 동시에 "절대 반지" 밈플렉스에 깊이 빠져 있는 오늘날의 상황과 비교했을 때, Microsoft와 Meta 그리고 Google 사이의 "경쟁"이 얼마나 여유로웠을지 상상해 보십시오.

따라서 이 '절대 반지(one ring)' 밈플렉스(memeplex)는 에스컬레이팅(escalating)되는 생애 주기를 가집니다. 이 밈플렉스는 사람들이 AGI를 진지하게 받아들임으로써 스스로를 선한 사람이라고 느끼게 하고, 다른 사람들도 AGI를 진지하게 받아들이도록 만드는 것이 (지금까지의 과정이 얼마나 끔찍했는지와는 별개로) 세상에 유익한 일이라는 서사를 활용하여 사람들을 감염시킵니다. 그러고 나서 이들은 사람들의 상상력을 차단합니다. '절대 반지'를 향하지 않는 그 어떤 창의적인 불꽃이나 계획도 빠르게 억제됩니다. 대신 그들은 ChatGPT나 METR 그래프, 혹은 이 밈플렉스를 위한 다른 채용 도구들을 만들어냅니다. 그리고 물론, 그들은 이전 버전의 밈플렉스가 너무 극단적이었고 지나치게 제약된 행동으로 이어졌다는 점을 인정할 것입니다. 하지만 그들은 AGI가 2027년 또는 2028년까지 도래할 것이며, 그것이 역사의 종말이기에 그런 것을 걱정할 시간이 없다고 말할 것입니다. 그러나 웬일인지, 그러한 관점을 가진 거의 모든 사람은 AGI에 대해 단지 '분위기(vibes)'에 기반한 정의만을 가지고 있습니다. 그들은 2028년까지 다이슨 스피어(Dyson spheres)가 등장하거나, 자기 복제 나노기술(self-replicating nanotech)이 등장하거나, 뇌 에뮬레이션(brain emulations)이 구현될 것이라고는 믿지 않습니다. 그들은 대부분 구체적인 예측을 내놓지 못하며, 단지 모든 계획에 마감 기한을 설정할 만큼 충분한 수준의 AI가 올 것이라는 말만 할 뿐입니다. (곧 무언가 미친 듯이 변할 것이라고 구체적인 예측을 내놓는 @DKokotajlo와 @paulfchristiano에게는 경의를 표합니다.)

그냥 포기하지 않고는 이 밈플렉스에서 벗어나기가 매우 어려워 보입니다. David Holz는 아마도 이 분야의 세계 챔피언일 것입니다. 그는 AGI를 향한 경주에 참여할 수 있는 위치에 있었음에도 의식적으로 고개를 돌린 유일한 사람입니다. 다양한 에이전트 기초(agent foundations) 연구자들은 보통 안전 연구(safety research)로 통용되는, 어둠 속에서 공포에 질려 휘두르는 칼질 같은 것이 아닌, 진짜 생각을 할 수 있는 공간을 확보해 왔습니다. 몇몇 다른 이들(예: Salamon, Hoffman, Vassar, Andre, Sahil, Davidad)은 더 이례적인 경로를 추구하고 있습니다. 그리고 번아웃(burnout)을 겪은 사람들 중 일부는 다시 창의적인 사고를 하는 방향으로 재정립할 것이라 기대합니다.

다른 이들을 위한 핵심 요약은 다음과 같습니다: 네, AI의 미래는 거칠 것입니다. 하지만 지금까지 AI는 인간의 최고 에이전시(peak human agency)를 증가시켜 왔으며, 향후 10년 동안 이러한 추세가 지속될 것이라는 개방성을 유지한다면 여러분은 가치 있는 무언가를 만들기 시작할 수 있을 것입니다.