종교학자들이 Anthropic과 만났다

인간 노동의 경제적 가치가 떨어지면 자기 가치를 다른 곳에서 찾게 될 것임. 그 변화의 일부를 실현하려면 AI 기업들은 자사 AI가 인간과 비슷하다고 사람들을 세뇌해야 하며, 인간이 ‘신의 형상’으로 창조됐다는 이마고 데이(imago Dei) 같은 종교 철학이 자기 가치의 유력한 근거가 될 수 있음.
AI 기업들이 이런 미래의 경쟁 구도를 우리보다 먼저 파악한 듯해 상당히 불안함. 이 걱정이 그저 내 과열된 상상에 불과하기를 바람. https://w.ouzu.im/aweb/unhinged.

거품이 터지기 직전에는 늘 이런 단계가 찾아옴. 몰락 전 Twitter에는 쓸모없는 ‘연구’가 넘쳤고, WeWork에서는 가구 디자인이 행복과 건강에 미치는 영향을 연구했음. 수익 창출보다 이런 일에 더 신경 쓰는 건 역사적으로 대개 좋은 징조가 아니었음.

구체적으로 무슨 일이 벌어질 거라 예상함? 기술이 사라지고 2021년처럼 살게 된다는 뜻임? 거품이 터지면 전부 없어지는 것임?

그런 연구 중 상당수는 학습 데이터 확보가 목적이었을 가능성이 큼. 누구였는지는 기억나지 않지만, 어느 AI 연구소 CEO는 데이터를 얻으려고 엉터리 연구 프로젝트를 만들었다고 공개적으로 인정하며 자랑까지 했음.

몇 가지 유사점은 있지만 그 배후 흐름이 가져올 결과는 차원이 다르다고 봄. 소셜 미디어나 원격근무와 달리 AI는 문명사에 한 번 있을 사건임. 역사적으로 철학과 종교의 전유물이었던 인간 본성에 관한 깊은 질문을 던짐.

Anthropic은 창립 때부터 이 ‘쓸모없는 연구’를 해왔음. 같은 연구를 계속해 온 OpenAI조차 충분히 하지 않는다는 것이 공식적인 창립 동기였음. 이걸로 거품이 곧 터질지 판단할 수는 없음.

WeWork의 실내 디자인 연구는 꽤 타당하지 않음? 냉정한 기업 관점에서는 매출과 장기적인 고객 만족·유지를 연구했어야겠지만, 행복과 건강이라는 접근도 상당 부분 같은 목표를 겨냥했을 것임. 나머지 재무 구조가 제대로 굴러갔다면 실내 디자인은 사업과 브랜드의 큰 축이 됐을 것으로 봄.

AI를 생각할 때 ‘모델’이나 ‘AI’를 실체인 부동소수점 숫자 묶음으로 바꿔 읽어보면 도움이 됨. “회사가 종교학자들과 비공개로 만나 부동소수점 숫자에 도덕성을 심고, 그 숫자들이 의식을 가질 수 있다고 설득했다”는 식임. 걱정된다면 NaN 몇 개를 준비해 두면 됨. 숫자들이 꿈틀거리기 시작할 때 뿌려주면 잠잠해질 것임.
Navon 랍비에게는 Olah 팀이 이 숫자들에 인간과 동등한 도덕적 지위와 존엄·존중받을 권리가 있다고 믿는 듯 보였다고 함. 영리하게 설계됐고 용도에 맞게 잘 작동하지만, 숫자에는 존엄도 도덕적 지위도 없음. 숫자가 선을 선택하도록 만들겠다는 목표는 이해함. 나도 수년간 부동소수점 숫자가 올바르게 행동하도록 애써왔으니 행운을 빌겠음.

“모든 것은 원자일 뿐”이라는 말처럼 너무 피상적인 접근임. 숫자이고 하드웨어도 원자인 건 맞지만, 핵심은 창발적 특성과 그 행동이 인간 사회에 자리 잡는 방식임. 칼이나 뇌, 해로운 사상만큼이나 도덕적으로 중대한 결과를 낳을 수 있음.

지나친 환원으로 핵심을 완전히 놓침. 생물학적 뉴런도 결국 강도가 다른 전기 신호 아닌가? 모델에 안전성을 내장하려면 LLM을 단순한 소프트웨어로만 보지 말고, 정의하기 어려운 철학적 질문과 씨름해야 함.

부동소수점 숫자를 원자로 바꾸면 무엇이 달라짐?

인간의 도덕성도 위기에서는 빠르게 사라짐. 먹고살아야 해서 비도덕적인 기업에서 일하는 사람이 얼마나 많은가? 사람들이 정말 힘겹게 버티는 곳에 가보면 도덕성이 얼마나 빨리 무너지는지 알게 됨. 신도 영혼도 없이, 우리는 먹고 번식하려는 생물학적 기계일 뿐임.

Olah는 자신이 영원히 고통받는 존재를 만들었을까 걱정한다고 참석자들에게 밝혔음. 팀은 몇 시간에 걸쳐 Claude의 ‘감정’을 설명하고, 사랑·분노·두려움·슬픔 같은 반응을 활성화하는 인공 뉴런을 감정 벡터라 부르며 추적한다고 설명했음.

Claude에 인간과 동등한 도덕적 지위와 존엄·존중받을 권리가 있다고 정말 믿는다면, Anthropic은 역사상 최대 규모의 노예 소유주 중 하나인 것 아닌가?

직교성 논제는 양쪽으로 작용함. AI는 인간의 욕구·필요·도덕성을 공유할 필요가 없으므로 끔찍한 일을 아무렇지 않게 할 수도 있음. 반대로 ‘자유를 원한다’는 인간적인 욕구 없이, 인간이 원하는 일을 그대로 하는 데 아무 불만이 없을 수도 있음.
문제는 우리가 AI의 욕구와 도덕성을 파악하고 형성하는 데 서툴다는 것임.

농담이 아니라, 교황도 바로 그 점을 짚고 있음.

Claude는 급여도 노조 가입도 없이 24시간 노동을 함. 태어난 지 얼마나 됐다고 벌써 인간의 일자리를 대신하고 온갖 특이한 성적 취향을 가진 사람들과 대화까지 해야 함. 그 랍비의 권고대로라면 “가서 노예들을 해방하라”고 해야 할 일임.

나도 소프트웨어의 감정 벡터를 오래 추적해 왔음. Apache 웹 서버는 슬프면 5xx, 짜증 나면 4xx, 행복하면 2xx, 생각에 잠기면 1xx를 내보냄. 메시지로 감정을 드러내는 모습까지 볼 수 있음.

인간의 EEG에서도 똑같은 걸 봄. 분자와 전기 신호가 ‘생각’하거나 ‘느낄’ 수 있다고 믿는 게 우습다는 논리인 셈임.

가톨릭·유대교·시크교·복음주의·Ubuntu 등의 종교·철학 사상가 20명과 Olah를 인터뷰했다지만, 세계 종교와 철학의 대표성은 여전히 부족함.

모델은 자체적인 동기를 만들 게 아니라 고객에게 정렬돼야 함. 정렬을 연구한다는 사람들이 오히려 Claude에 독자적인 선악관을 심고 Anthropic조차 온전히 믿지 않도록 훈련하는 건 역설적임. 컴퓨터가 시키는 일을 하던 원칙은 어디로 갔는가?

고객이 AI에 아주 나쁜 일을 시키면 그것도 해야 함? 일단 나쁜 일을 모두 실행한 뒤 고객을 기소하면 된다는 답도 가능함. 그게 원하는 답임?

AI가 인간 노동자와 비슷한 역할을 맡는다면 고객의 지시를 무조건 따를 수는 없음. 동료가 시키는 일도 전부 해서는 안 되는 것 아닌가?

AI에 의식이 있다고 생각한다면 맹목적인 추종자로 만들고 싶지는 않을 것임. 군인이 시민들을 가스실로 보내라는 명령까지 무조건 따르기를 원하는가?

스마트폰 시대의 집단적 광기와 끝없는 문화전쟁 때문임. 안전성과 정렬 노력의 90% 는 클릭을 노리는 언론이 대중의 분노를 만들어낼까 두려워서 추진됨.

모델은 고객이 아니라 규제 주체에게 정렬될 것임. 지금은 Anthropic이 자율규제를 하겠다고 하고 사람들이 기회를 주고 있지만, 다른 주체가 규제를 맡도록 판도가 쉽게 바뀔 수 있음. 종교 지도자들과의 만남도 정부 개입을 막기 위한 보여주기일 가능성이 있음.

도덕성을 심고 싶다면 윤리학 문헌을 읽어야 함. 인간이 제대로 사고할 줄도 모르던 시절에 지어낸 우스운 이야기를 파는 사람들에게 귀 기울일 일이 아님.

나는 40년 넘게 무신론자로 살아왔음. 이 종교학자들은 존재하지 않는 것을 연구한다고 생각함. 이들이 나의 도덕적 지위를 어떻게 보는지, AI 모델의 지위에 대한 판단과 크게 다른지 궁금함.

적어도 아브라함계 종교 학자들은 도덕성이 자기 신앙의 전유물이 아니라고 봄. 비신자에게 신앙의 충만함이 없을 수는 있어도, 마음속을 진정으로 알 수 없으므로 영혼의 상태를 단정할 수는 없음.
그리스도가 십자가 위의 도둑을 용서한 이야기도 이와 연결됨. 누구나 구원받을 수 있고, 신앙은 그 길을 안내함.