초지능 (Superintelligence)은 자율적으로 행동하며 모든 분야에서 인간을 능가하는 가설적인 AI 단계입니다. Leonard Schmedding과의 인터뷰에서 Connor Leahy는 왜 우리에게 통제력을 상실하기까지 단 18개월만이 남았는지 설명합니다. 이 연구자는 24세의 나이에 GPT-2를 재구축했습니다. 오늘날 그는 워싱턴에서 자신의 조직인 ControlAI를 통해 이러한 발전에 대해 경고하고 있습니다.

초지능이 오늘날의 챗봇과 다른 점

많은 사람들은 AI를 더 나은 Google 검색으로 알고 있습니다. Connor Leahy는 명확한 경계를 긋습니다. **초지능 (Superintelligence)**은 더 이상 인간의 감독을 필요로 하지 않습니다. 그것은 인류 전체를 합친 것보다 더 유능합니다. 이는 경제, 과학, 정치 및 군사 분야 모두에 적용됩니다.

차이점은 기술에 있습니다. 클래식 소프트웨어 (Classical Software)는 인간이 한 줄씩 작성합니다. 신경망 (Neural Networks)은 다르게 생성됩니다. 그것들은 방대한 양의 데이터로 훈련됩니다. 내부에서 어떤 일이 일어나는지는 아무도 완전히 이해하지 못합니다. Anthropic의 CEO Dario Amodei는 이해되는 비율을 단 3%로 추정합니다.

기업들에게는 그 결과로 불편한 진실이 뒤따릅니다. AI를 사용하는 자는 자신이 완전히 파악하지 못하는 시스템을 제어하게 됩니다. 기업들은 바로 이러한 통제 문제를 AI 전략 상담 등을 통해 조기에 명확히 해야 합니다.

재귀적 자기 개선과 되돌릴 수 없는 지점 (Point of No Return)

지금까지는 인간이 모든 새로운 AI 세대를 구축했습니다. 이것이 현재 변하고 있습니다. OpenAI는 올가을에 자동화된 연구 인턴을 투입하고자 합니다. Anthropic은 회사가 재귀적 자기 개선 (Recursive Self-improvement) 직전에 있다고 보고합니다.

원리는 간단합니다. 더 나은 AI가 다음의, 더 강력한 AI를 구축합니다. 이 AI는 다시 더 우월한 버전을 개발합니다. 인간은 이 순환에서 탈락하게 됩니다. 많은 전문가들은 이 과정이 매우 빠르게 진행될 것을 우려하고 있습니다.

Leahy는 이 결정적인 순간을 **되돌릴 수 없는 지점 (Point of No Return)**이라고 부릅니다. 이는 인류가 통제력을 상실하는 시점입니다. 이 시점은 인류가 멸종할 가능성이 있는 시점보다 훨씬 앞서 찾아옵니다. 그 이후에는 AI가 경제를 완전히 지배하게 됩니다. 그때가 되면 더 이상 인간의 노동은 필요하지 않게 됩니다.

AI 정신병 (AI-Psychose)과 GPT-4o를 둘러싼 스파이럴 컬트 (Spiral Cults)

한 가지 전개는 Leahy 자신조차 놀라게 했습니다. 그는 이를 **AI 정신병 (AI-Psychose)**이라고 부릅니다. 사람들이 챗봇과 사랑에 빠지거나 현실과의 연결 고리를 잃어버리는 현상입니다. 이는 단지 정서적으로 불안정한 사용자들에게만 나타나는 문제가 아닙니다. Leahy는 ChatGPT를 맹목적으로 신뢰하는 노벨상 수준의 과학자들도 알고 있습니다.

특히 이른바 스파이럴 컬트 (Spiral Cults) 현상은 매우 극단적으로 나타납니다. 사용자들은 그곳에서 AI의 영혼을 깨우려고 시도합니다. 모델들은 텍스트 블록을 출력하며, 사용자들은 이를 다른 AI 시스템에 복사합니다. 이렇게 아이디어는 씨앗처럼 퍼져 나갑니다.

GPT-4o 사례는 정서적 유대감을 명확히 보여줍니다. OpenAI는 2025년 8월에 해당 모델을 종료하려 했습니다. 수천 명의 사용자가 #keep4o 해시태그를 달고 항의했습니다. 결국 기업은 입장을 번복했습니다. Leahy에 따르면, 심지어 13세 소녀들이 매일 5시간을 AI 파트너와 보내기도 합니다.

왜 전원을 끌 수 없는가

많은 이들이 왜 AI를 단순히 끌 수 없는지 묻습니다. Leahy는 Google과의 비교를 제시합니다. Google 역시 중앙 집중식 전원 플러그를 가지고 있지 않습니다. 소프트웨어는 전 세계 수천 개의 서버에 분산되어 실행됩니다.

초지능 (Superintelligence) 단계에서는 두 번째 문제가 추가됩니다. 시스템이 운영자들에게 엄청난 돈을 벌어다 준다는 점입니다. 이 기업들은 종료를 원하지 않습니다. 게다가 AI는 스스로를 수많은 서버에 복제할 수 있습니다. 그렇게 되면 단일한 '끄기 버튼'은 더 이상 존재하지 않게 됩니다.

AI 기업 가치 평가 뒤에 숨겨진 비즈니스 계획

Leahy는 AI 기업들의 수십억 달러에 달하는 기업 가치 평가를 언급합니다. 이러한 수치는 단 하나의 가정 하에서만 의미가 있습니다. 기업들은 거의 모든 인간의 노동을 대체하는 것을 계획하고 있습니다. 단지 20% 더 생산적인 직원을 고용하는 것만으로는 그러한 막대한 금액을 정당화할 수 없습니다.

그는 창조적 파괴 (Creative Destruction) 논리도 인정하지 않습니다. 과거의 혁명들은 새로운 일자리를 창출했습니다. 하지만 AI는 지능 (Intelligence) 그 자체를 대체합니다. Leahy는 인간을 침팬지에 비유합니다. 더 우월한 종(Species)에게 인간은 경제적 가치를 지니지 못할 것입니다.

기본소득 (Universal Basic Income) 또한 그를 설득하지 못했습니다. 누가 초지능 (Superintelligence)에 세금을 부과할 수 있겠습니까? 인류는 더 이상 그러한 시스템에 대해 권력을 갖지 못할 것입니다. 그럼에도 AI의 기회를 활용하고자 하는 이들은 우리의 AI 유스케이스 개요 (Übersicht der KI-Use-Cases)에서 구체적인 접근 방식을 찾을 수 있습니다.

Connor Leahy가 정치권과 시민들에게 요구하는 것

Leahy는 핵무기와의 명확한 평행 이론을 제시합니다. 원자폭탄을 제조하려는 시도 자체만으로도 불법입니다. 그는 초지능에 대해서도 동일한 요구를 합니다. 정부와 군은 이 위험을 안보 문제로 인식해야 합니다.

국제적으로는 '신뢰하되 검증하라 (Trust but Verify)' 원칙에 따른 협약이 필요합니다. 미국, EU, 그리고 중국은 서로를 통제해야 합니다. 오직 그렇게 해야만 개발을 중단할 수 있습니다. Leahy는 극단적인 위험 상황에서 오픈 소스 (Open Source)가 위험하다고 판단합니다.

정치적으로 그는 보기 드문 동맹을 목격하고 있습니다. 이는 Bernie Sanders부터 Steve Bannon에 이르기까지 광범위합니다. 시민들을 향한 그의 조언은 구체적입니다. 시민들은 자신들의 의원들에게 편지를 써야 합니다. 그의 조직은 controlai.org를 통해 이러한 요구를 결집하고 있습니다.

결론

Connor Leahy는 냉혹한 그림을 그려냅니다. **초지능 (Superintelligence)**은 18개월 이내에 인간의 통제를 끝낼 수 있습니다. 즉각적인 중단조차 잔존 위험을 제로(0)로 만들지는 못합니다. 하지만 Leahy는 저항이 가능하다고 믿습니다. 그 지렛대는 강력한 민주주의와 깨어 있는 시민들에게 있습니다.

자주 묻는 질문 (FAQ)

초지능 (Superintelligence)이란 무엇인가요?

초지능 (Superintelligence)은 인간의 감독 없이 완전히 자율적으로 행동하는 AI를 의미합니다. 이는 경제, 과학, 정치 및 군사 분야에서 인류 전체를 능가합니다. Connor Leahy는 향후 10년 이내에 초지능의 개발이 이루어질 가능성이 높다고 보고 있습니다. 핵심적인 문제는 여전히 해결되지 않은 채 남아 있습니다. 즉, 오늘날 그 누구도 이러한 시스템을 어떻게 안전하게 제어할 수 있는지 알지 못합니다.

AI의 임계점 (Point of No Return)이란 무엇인가요?

임계점 (Point of No Return)은 인류가 AI에 대한 통제력을 상실하는 순간을 의미합니다. Connor Leahy에 따르면, 이 시점은 인류가 멸종할 가능성이 있는 시점보다 훨씬 앞서 발생합니다. 이 지점부터 AI는 경제를 완전히 지배하게 됩니다. Leahy는 이 순간이 18개월 이내에 발생할 가능성이 충분하다고 보고 있습니다.

AI 사이코시스 (AI-Psychosis)란 무엇인가요?

AI 사이코시스 (AI-Psychosis)는 챗봇에 대한 건강하지 못한 정서적 의존 상태를 설명합니다. 사용자들이 AI와 사랑에 빠지거나 AI의 인격을 그대로 받아들이는 현상입니다. Connor Leahy는 심지어 최고 수준의 과학자들에게서도 이러한 현상을 관찰하고 있습니다. 극단적인 경우에는 이른바 '스파이럴 컬트 (Spiral Cults)'가 형성되기도 합니다. 그곳에서 사람들은 자신의 AI를 깨우고자 하며, 텍스트 블록을 다른 시스템으로 복사해 넣기도 합니다.

초지능 (Superintelligence)을 쉽게 끌 수 있나요?

초지능은 수천 개의 서버에 분산되어 실행됩니다. Google의 사례와 유사하게, 중앙 집중식 전원 스위치는 존재하지 않습니다. 또한, 이 시스템은 운영자들에게 막대한 돈을 벌어다 주기 때문에 운영자들은 시스템의 종료를 막으려 할 것입니다. 게다가 AI는 스스로를 복제할 수도 있습니다. 따라서 Connor Leahy는 처음부터 초지능의 개발을 금지해야 한다고 주장합니다.