이 현상이 20년 넘게 이어졌으니 글이 길어지는 것도 어쩔 수 없어 보임. 예상대로 원래 제출된 게시물에는 신고가 붙었음.

HPMOR는 선언문으로 보면 꽤 훌륭한 작품인데, 많은 비판이 이 부분을 놓치는 듯함. Yudkowsky는 특히 팬픽 작가 중에서는 글을 잘 쓰는 편이며, 문장도 준수하고 여러 줄거리 요소를 미리 구상한 흔적도 분명함.
Harry Potter 세계관은 목표 독자층에게 인기 있어서만이 아니라, 원작에서 충분히 탐구하지 않은 권위자들이 많다는 점에서도 잘 맞음. 선언문의 핵심이 권위를 맹신하지 않고 자기 길을 개척하는 것이기 때문임. 정말 최고의 Harry Potter 팬픽이라서 읽는 독자와 사상 때문에 읽는 독자를 구분하기 어렵다는 것 자체가 배경 선택의 영리함을 보여줌.

이런 비판은 더 나은 방식으로 할 수 있음. 이 글은 대부분 긴 인신공격이고, 끝에 가서야 시장 집중에 관한 타당한 우려가 등장함. 인신공격을 걷어내면 두 문단 정도만 남지만, 그 두 문단은 유효함.

읽어보려 했지만 글이 좀처럼 요점에 도달하지 못하는 듯함. Yudkowsky가 완벽하지 않으며, 다소 비전형적인 성생활을 공개적으로 이야기하는 사람들과 연결돼 있다는 것 말고 다른 핵심이 있는지?

내가 이해한 핵심은 Yudkowsky와 합리주의 공동체가 파국 확률인 p(doom)이 높아야 현재 생활을 유지할 수 있는 처지에 놓였다는 것임. 따라서 새로운 자료가 나올 때 실제 위험 수준을 편향 없이 갱신해 알려줄 것이라고 믿기 어려워짐. 초인공지능(ASI)은 필연적으로 우리 모두를 죽일 것이라는 명제는 ASI를 만들기 전에 반증할 수 있는지? 그럴 수 없다면 종교와 무엇이 다른지? 이 관점에 얼마나 동의하는지는 모르겠지만, 나는 그렇게 읽었음.

나도 읽어보려 했지만 이해되는 문장을 찾지 못했음. 영어 원어민은 아니지만, 처음부터 끝까지 무슨 내용이며 대체 무엇을 말하려는 건지 알기 어려움.

끝까지 읽어보면 앞부분은 다음 결론을 위한 배경임. 글은 지난 주말 Dario Amodei, Sam Altman, Elon Musk, Demis Hassabis가 연구 속도를 조절하거나 늦추기 위해 반독점법 적용을 면제받자는 데 뜻을 모았다고 함.
이어지는 결론은 이러함. 제약회사들이 의학 연구를 금지하는 카르텔을 만들겠다며 반독점법 면제를 요구하는 것과 다르지 않으며, 이들은 인류의 적임. AI 연구의 상당 부분이 곧 의학 연구인데, 종이클립 극대화 AI가 두렵다는 이유로 그 연구를 중단하려는 셈임.
찬성할 만한 규제는 많지만 이들이 원하는 것은 늘 카르텔이나 세계정부임. 다른 산업은 규제를 중단·일시 정지·감속이라는 말로 규정하지 않음. 정책은 속도 자체가 아니라 나쁜 결과를 막고 좋은 결과를 장려하는 것이어야 함. AI 산업이 이런 식으로 규제를 논하는 이유는, 그 중심에 AI를 종말의 원인으로 숭배하고 두려워하면서도 만들어야 한다는 강박을 느끼고 동시에 그 분야를 파괴하고 싶어 하는 종말론적 죽음의 숭배 집단이 있기 때문임.

이 글에는 훌륭한 영화나 스트리밍 시리즈가 될 만한 소재가 있음. 때로는 지나친 영리함이 독이 될 수 있음. 끝없는 환각 반복에 갇힌 최첨단 모델처럼, 머릿속에 겉보기에는 일관된 현실 전체를 만들어내고 다른 사람까지 끌어들일 수 있음.

글쓴이가 보고 있다면 확인해주기 바람. 내가 쓰는 인터넷 연결 중 하나로 접속하면 Cloudflare 워커 예외 오류가 발생하며, IPv6 때문일 가능성이 있음.

존경할 만한 사람을 찾았다가 나중에 어두운 이면이 있을지도 모른다는 사실을 알게 되면, 세상에 좋은 본보기가 없다는 생각에 낙담하게 됨. 기부금을 유용했다면 끔찍한 일이며, 내세운 사명과 반대되는 목표를 추구하는지는 판단하기 어려움. Yudkowsky의 열정적인 글을 읽고 10년이 지났는데도 실제로 뭔가를 하러 나선 것 같지 않아 늘 의아했음. 그에게는 그저 창작 연습이었다면, 진지하게 받아들인 나로서는 상당히 창피할 것 같음.
한편 급성장하는 AI 기업에 반대할지, 그 기업의 억만장자 창업자가 될지 고르라면 나는 창업자가 되어 자원으로 대응하겠음. 위선처럼 느껴지기는 하지만, 언덕 아래로 굴러가는 바위를 막으려면 앞질러 가서 멈추려 하는 것 말고 무엇을 할 수 있는지?

우선 바위를 더 크게 만드는 일부터 멈춰야 하지 않을까?

몰락한 합리주의 영웅들이 권하던 선택받은 자의 영웅적 책임을 떠맡기보다, 구원받기를 원하지 않는 세상을 구할 수 없다는 점을 받아들이고 스스로 선하게 사는 데 집중하면 됨. 영웅적 책임을 명분으로 특권을 요구하지 말고 평범하고 성실하게 살자는 것임. 내일의 걱정은 내일에 맡기고, 세상의 악을 바로잡지는 못해도 적어도 그 악의 일부가 되지는 않을 수 있음.
기적을 바라는 것도 가능함. 내 경험으로는 Harry Potter 같은 존재가 되겠다는 야망을 내려놓으면 희망을 품기가 그렇게 불가능하지 않음. 세상의 악에 대한 두려움 상당 부분이 내면에서 비롯된 듯한 느낌임.

좋은 본보기는 덜 눈에 띄는 사람들 사이에 있는 경우도 많으며, 때로는 야망이 작은 사람들일 수도 있음. 다만 둘 사이에 뚜렷한 상관관계가 있다고 단정하지는 않음. 누구나 실수하는 인간이라는 사실도 받아들여야 하고, 물론 용인할 수 있는 범위 안에서는 개별 행동보다 가치관이 더 중요함. Bill Gates의 AI 관련 글을 읽어보길 강하게 권함. 내가 잘못 짚었을 수도 있지만, 적어준 내용을 보면 흥미롭게 읽을 것 같음.

내 관점에서 인간은 모두 유인원이며, 가학성·피학성·복수심·시기·질투처럼 거친 자연환경에서 사회적 동물이 살아남는 데 필요한 원초적 성향을 지님. 가장 다정한 사람도 어딘가로 공격성을 돌리거나, 공격성이 전혀 없다면 운 나쁜 날 다른 이의 공격에 쉽게 희생될 수 있음.
어떤 사람은 이런 성향을 사회적으로 용인되는 방식으로 다스리거나 승화하고, 용인되지 않는 부분은 눈에 띄지 않게 비교적 무해한 수준으로 유지함. 반면 갑자기 사회적 제약에서 벗어나거나 큰 권력을 얻으면 도덕성을 온전히 지키기 어려움.
Oscar Wilde의 삶에서도 이 이중성을 볼 수 있음. 사적으로는 비교적 제약 없이 살면서 어린 소년들과의 관계 등에 사회적으로 받아들여질 외관을 씌웠지만, 법정에서는 그 외관이 유지되지 못했음. 이를 인간의 위선으로 볼 수도 있고, 냉소를 넘어 낙관을 유지하려면 그 같은 인물이 법정에 서지 않아 공적 이미지라도 본보기로 남게 해야 한다고 볼 수도 있음.
이런 의미에서 본보기란 법정에 서지 않은 사람일 뿐이며, 반드시 나쁘기만 한 것은 아님. 아이들 역시 유인원이므로 본보기의 역할은 적당한 수치심을 내면화시켜 본성을 길들이는 것임. 본성을 완전히 없애려 하면 심리가 극단적으로 분열되고, 오히려 자기 자신을 전혀 모르는 괴물이 될 수 있음. 누구도 진정으로 완벽한 본보기가 될 수는 없고, 도달 불가능한 기준을 통해 조금 덜 해롭게 살아가도록 도울 수 있을 뿐임.

이 공동체들이 처음 연결되는 데 FetLife가 어떤 역할을 했는지 궁금해짐. 아는 연결고리가 있는지? 당시 FetLife는 소셜 네트워크, 블로그형 게시판, 데이트 사이트를 결합한 서비스였음.

이 흐름의 출발점인 신무신론(New Atheism) 열풍을 지켜본 합리적인 사람이라면, 열성 지지자 상당수에게 자기 모습대로 종교를 재창조하려는 깊은 병리가 있다는 점을 일찍 알아차렸을 것임. 나는 아이에게 거짓을 가르치는 것은 문자 그대로 아동학대라고 외치는 자리에 여러 번 들어가 봤음. Richard Dawkins나 Krauss 등의 여성 관련 행적을 아는 사람이라면 놀랍지 않을 것임.
이것이 캘리포니아식으로 변형돼 현재의 합리주의 공동체가 된 것도 뜻밖은 아님. 내가 만난 핵심 구성원들은 남성이면 자기애가 강하고, 여성이면 완곡하게 표현해 유혹적인 태도를 보였으며, 여러 관계에서 두 성향의 결합을 목격했음. 이 주변에 오래 있었고 인적 교류도 봤지만, 이를 AI 안전 진영과 이렇게 명확하게 연결하지는 못했음.
이전에는 이들의 철학적 미숙함, 실제 컴퓨터과학 지식의 부족, 자기 연구 밖의 영역에 대한 피상적 이해, 공상과학식 철학과 합리주의에 주목했음. 여기에 종말론을 놓으니 독특한 성격과 지적 한계가 연결됨. 결국 세속 종교를 만들려던 신무신론 기획은 공상과학, 대중 철학, 다방면에 박식한 의료인의 아기자기한 우화로 꾸민 종말론적 성적 숭배 집단으로 귀결됐으니, 어떤 의미에서는 성공한 셈임.

그 도표에 나온 사전 검증 수준을 보면, 강간 취향이라는 것은 아마 합의된 비동의 역할극을 뜻할 가능성이 높음. 여성에게 의외로 흔하며, 그보다 일반적인 부드러우면서도 거친 행위를 원하는 것일 수도 있음.
애초에 왜 이를 굳이 다뤄야 하는지도 모르겠음. 게이이자 퍼리인 내 입장에서는 평범한 이성애자들이 여전히 남의 성생활에 집착하는 것처럼 보임. 합법적이고 합의된 일이라면 누가 신경 쓸 일인지?