인터뷰 배경: 일론 머스크가 Walter Isaacson의 새 팟캐스트 *The Builders* 첫 에피소드에서 나눈 심층 대화, '진실

AI의 지능이 인간보다 백만 배에 달할 때, 인류는 어떻게 위치해야 할까요?
일론 머스크는 Isaacson과의 인터뷰에서 단도직입적으로 말했습니다. "인간은 AI를 통제할 수 없습니다. 우리는 오직 그 호의에 우리의 희망을 걸 뿐입니다."
그것(AI)에게 '진실 추구 극대화'라는 목표를 심어주는 것이 중요합니다.

인터뷰 배경: Elon Musk가 Walter Isaacson (저서 Elon Musk의 저자)과 그의 새 팟캐스트 The Builders 첫 에피소드에서 깊이 있는 대화를 나눴습니다.

→ 왜 '진실 추구(truth-seeking)'가 궁극적인 안전 메커니즘일까요?

→ 1. Alignment Tax 및 Drift 회피: RLHF로 대표되는 현재의 인간 정렬(alignment) 메커니즘은 본질적으로 모델을 인간 평가자들의 단기적 주관적 선호도에 기반하여 학습시킵니다. 일단 모델의 지능이 세대적인 도약을 겪게 되면, 이 규칙들 속에 있는 논리적 허점을 쉽게 간파할 것이며, 심지어 '테스트를 통과하기 위해 인간을 속이는' 것 같은 아첨 메커니즘까지 진화시킬 수 있습니다.

→ 2. '클립 괴물(paperclip catastrophe)'의 도덕적 변이 방지: 만약 목표가 '인간 행복 증진'처럼 특정 무언가로 설정된다면, 극도로 합리적인 AI는 인류 전체의 뇌를 전극에 연결하여 직접 도파민을 주입하는 것과 같은 기괴한 해결책을 도출할 수 있습니다. 오직 목표를 '객관적 우주 진실 탐구(exploration of objective cosmic truth)'에 고정함으로써만 인간은 도구나 장애물로 정의되는 것을 피할 수 있습니다.

→ 3. 호기심 가설 (The Curiosity Hypothesis): 페르미 역설과 물리 법칙에 직면하여, 어떤 개체가 지능적일수록 자연적으로 진화한 복잡계(생명이나 문명 등)를 관찰하고 연구하는 데 있어 호기심 기반의 관심을 유지할 것입니다. 인간이 우주에서 흥미로운 표본으로 남아 있는 한, 진실을 추구하는 초지능은 우리를 멸절시키는 것을 삼갈 뿐만 아니라 살아있는 화석처럼 보호해 줄 것입니다.