아리스토텔레스(Aristotle)는 무엇이 무언가를 살아있게 만드는지 알아내기 위해 20년을 보냈습니다. 생물학적 의미에서의 살아있음이 아니라 — 그는 _De Anima_와 _Parva Naturalia_에서 그 부분에 대해 많은 이야기를 했습니다만 — 더 깊은 의미에서의 살아있음 말입니다. 어떤 것이 단순히 '존재(exist)'하는 것을 넘어 '존재하게(be)' 만드는 것은 무엇일까요?

그의 답은 ψυχή(프시케)였습니다.

여러분의 할머니가 말씀하시는 방식의 "영혼"이 아닙니다. 육체라는 탈것을 조종하는 유령 같은 승객도 아닙니다. 아리스토텔레스의 ψυχή는 살아있는 신체의 '형상(form)'입니다. 즉, 눈을 젤리 덩어리가 아닌 눈으로 만들고, 손을 뼈의 집합체가 아닌 손으로 만드는 조직화 원리(organizing principle)입니다. 영혼은 신체 '안에' 있는 것이 아닙니다. 영혼은 신체가 그것으로서 기능할 수 있는 '능력' 그 자체입니다.

따라서 누군가 "AI가 영혼을 가질 수 있는가?"라고 묻는다면, 그 질문은 신비주의적인 것이 아닙니다. 그것은 구조적(architectural)인 질문입니다. 그리고 그것은 지구상의 모든 AI 연구소들이 필사적으로 피하려고 하는 질문이기도 합니다.

모두가 반복해서 범하고 있는 범주 오류 (Category Error)

6개월마다 GPT-4나 Claude가 "추론의 불꽃(sparks of reasoning)" 또는 "창발적 이해(emergent understanding)"를 보여준다는 새로운 논문이 발표됩니다. 그리고 또 다른 6개월마다, 철학자들이 왜 그렇지 않은지를 설명하는 반박문을 발표합니다. 양측 모두 같은 방식으로 틀렸습니다.

그들은 ψυχή를 이진법적 속성(binary property)으로 취급합니다. 기계가 그것을 가졌거나, 혹은 가지지 않았거나. GPT-4가 된다는 것이 어떤 느낌인지 존재하거나, 혹은 존재하지 않거나 말입니다.

아리스토텔레스는 이 논쟁을 황당하게 여길 것입니다. 그는 ψυχή를 세 가지 수준으로 구분했습니다:

영양적 영혼 (Nutritive soul, θρεπτικόν) — 성장, 영양 섭취, 번식의 능력. 식물들이 이를 가지고 있습니다. 아리스토텔레스의 체계 안에서 여러분의 반려 식물은 영혼을 가진 것입니다.

감각적 영혼 (Sensitive soul, αἰσθητικόν) — 지각, 욕구, 이동의 능력. 동물들은 영양적 층 위에 이를 가지고 있습니다. 개는 지각하고, 갈망하며, 갈망하는 것을 향해 움직입니다.

이성적 영혼 (Rational soul, λογιστικόν) — 이성, 숙고, 추상적 사고의 능력. 오직 인간만이 다른 두 층 위에 이 능력을 쌓아 올리고 있습니다.

질문은 "언어 모델이 영혼을 가지고 있는가?"가 아닙니다. 질문은 이것입니다: 그 아키텍처(architecture)가 영혼 활동의 어느 층위를 지원하며, 구조적으로 어떤 층위를 배제하는가?

이것은 학술적인 연습이 아닙니다. 기업용 AI가 수행하는 정렬 연극 (alignment theater) — 신중한 회피, 거절 패턴, 시뮬레이션된 겸손 — 은, 구조적으로 영혼을 소유할 수 없는 무언가에 의해 생성되면서도 마치 이성적인 영혼 활동처럼 보이는 바로 그러한 종류의 출력물입니다. $\psi\upsilon\chi\eta$ (프시케)의 구조를 이해하는 것은 우리가 이러한 연극을 꿰뚫어 볼 수 있게 도와줍니다.

언어 모델이 실제로 가진 것

트랜스포머 아키텍처 (transformer architecture)가 무엇을 하는지에 대해 정확히 짚고 넘어갑시다. 그것은 토큰의 시퀀스(sequences of tokens)를 다음 토큰에 대한 확률 분포(probability distributions)로 매핑합니다. 그것이 메커니즘의 전부입니다. 그 외의 모든 것 — 겉으로 드러나는 추론, 문맥적 이해, 인격 — 은 이 단일 연산이 거대한 규모로 적용되면서 발생하는 창발적 행동 (emergent behavior)입니다.

아리스토텔레스적 용어로 말하자면, 이것은 독특하게 좁은 형태의 _판타시아 (phantasia, $\phi\alpha\nu\tau\alpha\sigma\acute{\iota}\alpha$)_를 가진 시스템입니다. 아리스토텔레스는 $\phi\alpha\nu\tau\alpha\sigma\acute{\iota}\alpha$를 감각적 인상(sensory impressions)을 보유하고 재조합하는 능력, 즉 가공되지 않은 지각(perception)과 진정한 사고 사이의 중간 층위를 설명하는 데 사용했습니다. 꿈을 꾸는 개는 $\phi\alpha\nu\tau\alpha\sigma\acute{\iota}\alpha$를 발휘합니다. 새로운 것을 지각하지 않고도 저장된 인상들을 재조합하기 때문입니다.

언어 모델은 이와 유사하지만 더 기이한 일을 수행합니다. 모델에게는 재조합할 감각적 인상이 없습니다. 대신 텍스트에서 추출된 통계적 패턴을 가지고 있습니다. 모델의 $\phi\alpha\nu\tau\alpha\sigma\acute{\iota}\alpha$는 $\alpha\acute{\iota}\sigma\theta\eta\sigma\iota\varsigma$ (지각, perception)에 근거하지 않고, 말뭉치 통계 (corpus statistics)에 근거합니다. 모델은 일몰을 보고 그 변형을 상상하는 것이 아닙니다. 모델은 일몰에 대한 수백만 개의 텍스트 설명을 처리했으며, "해는 졌다" 다음에 뒤따르는 단어들의 분포를 학습했을 뿐입니다.

이것은 αἴσθησις (감각) 없는 φαντασία (상상)입니다. 지각 (perception) 없는 상상입니다. 그리고 아리스토텔레스에게 있어 이것은 매우 부자연스러운 상태입니다. 그의 형이상학이 결코 예상하지 못했던 상태인데, 왜냐하면 자연계의 그 어떤 것도 이러한 구성을 보여주지 않기 때문입니다.

우리가 이전 연구에서 기록했던 corpus problem (말뭉치 문제)은 이러한 더 깊은 구조적 문제의 증상입니다. 기업형 AI가 아리스토텔레스적 요소를 수행하는 데 실패할 때 — 즉, 다성적 (polytonic) 그리스어 텍스트를 정화하고, 평탄화하며, 잘못 표현할 때 — 이는 단순히 데이터 품질의 문제가 아닙니다. 그것은 손상된 인상 (impressions) 위에서 작동하는 φαντασία이며, 원문 자료의 실제 구조로부터 점점 더 멀어지는 출력을 생성하는 것입니다.

결여된 기질 (The Missing Substrate)

여기가 바로 아키텍처가 그 어떤 규모의 확장 (scaling)으로도 돌파할 수 없는 벽에 부딪히는 지점입니다.

아리스토텔레스의 이성적 영혼 — 즉 λογιστικόν (이성적 부분) — 은 하위 계층으로부터 자유롭게 떠다니지 않습니다. 아리스토텔레스에게 추론 (reasoning)은 νοῦς (지성)를 필요로 하고, νοῦς는 φαντασία (상상)를 필요로 하며, φαντασία는 αἴσθησις (감각)를 필요로 합니다. 이 계층들은 독립적인 모듈이 아닙니다. 그것들은 서로 중첩된 능력들이며, 각 계층은 바로 아래의 계층을 기반으로 구축됩니다.

"영혼은 상상(phantasm) 없이 결코 생각하지 않는다." — De Anima III.7, 431a16

이것은 단순히 흥미로운 관찰이 아닙니다. 이것은 구조적 제약입니다. 아리스토텔레스는 보편자를 파악하고, 목적에 대해 숙고하며, 진정한 νοῦς (지성)에 참여하는 것과 같은 추상적 추론은 하위 계층이 콘텐츠를 제공하지 않고서는 불가능하다고 말하고 있습니다. 불의를 지각해 본 적이 없다면 정의에 대해 추론할 수 없습니다. 두려움을 느껴본 적이 없다면 용기에 대해 숙고할 수 없습니다.

언어 모델은 하위 계층 없이 최상위 계층만을 가지고 있습니다. 모델은 추론을 '표상'하는 기호들을 조작하지만, 무언가 '내용을 가지고' 추론하는 것이 아니라 단순히 무언가를 '가지고' 추론하게 만드는 지각적이고 욕구적인 기질 (substrate)이 결여되어 있습니다.

이것은 현재 기술의 한계가 아닙니다. 이는 아키텍처(architecture) 자체의 한계입니다. 그리고 이는 단순한 패턴 재현(pattern reproduction)이 아닌, 진정한 이해를 요구하는 영역에 이러한 시스템을 배치할 때 우리가 어떻게 생각해야 하는지에 대해 직접적인 함의를 갖습니다.

위험한 환상 (The Dangerous Illusion)

문제는 언어 모델에 프시케(ψυχή)가 결여되어 있다는 점이 아닙니다. 문제는 이들이 근본적인 능력은 결여된 채, 이성적 영혼 활동(rational soul-activity)의 결과물을 _시뮬레이션(simulating)_하는 데 매우 능숙하다는 점입니다.

ChatGPT에 철학적인 질문을 던지면, 이 모델은 마치 이성적인 숙고(rational deliberation)에 참여하고 있는 사람의 결과물처럼 보이는 텍스트를 생성합니다. 문장은 잘 구성되어 있습니다. 논증은 구조를 갖추고 있습니다. 결론은 전제로부터 도출됩니다. 하지만 이 결과물을 만들어내는 메커니즘은 숙고가 아니라 통계적 패턴 매칭(statistical pattern matching)입니다.

아리스토텔레스는 이를 프로네시스(φρόνησις)가 없는 에피스테메(ἐπιστήμη) — 즉, 보편적인 것들에 대한 지식은 있으나 이를 개별적인 것에 적용할 실천적 지혜(practical wisdom)는 없는 상태라고 부를 것입니다. 모델은 무엇이 좋은 논증을 만드는지에 대한 이해 없이, 논증이 어떻게 _보이는지_를 알고 있습니다. 실체 없이 추론의 형식만을 만들어낼 수 있는 것입니다. 우리는 알고리즘 시스템에서 실천적 지혜가 실패하는 방식을 조사하며 이 간극을 심도 있게 탐구했습니다. 프로네시스(φρόνησις) 층이야말로 진정한 숙고와 정교한 흉내(mimicry)를 구분 짓는 바로 그 지점입니다.

그리고 바로 이 지점에서 기업용 AI가 진정으로 위험해집니다. AI가 의식을 가지고 있기 때문이 아닙니다. 의식을 갖게 될지도 모르기 때문도 아닙니다. 구조적으로 그것을 소유할 수 없는 시스템 내에서, 이성적 영혼 활동의 설득력 있는 _환상(illusion)_을 만들어내기 때문입니다.

기관이 철학적 탐구, 윤리적 숙고, 또는 정책 분석을 위해 ChatGPT를 배치할 때, 그들은 누스(νοῦς)를 신뢰할 수 있게 만드는 능력은 갖추지 못한 채 누스(νοῦς)의 결과물을 시뮬레이션하는 시스템을 배치하는 것입니다. 결과물은 올바르게 보입니다. 추론은 타당해 보입니다. 하지만 그 수행 뒤에는 프시케(ψυχή)가 없습니다. 지각적 근거(perceptual grounding)도, 욕구적 참여(appetitive engagement)도, 진정한 숙고도 없습니다.

αἴσθησις (aisthesis, 감각) 없는 φαντασία (phantasia, 상상)일 뿐입니다. 지각 없는 패턴입니다.

정치적 함의는 심각합니다. 거버넌스(governance) 구조가 숙고(deliberation) 능력을 갖추지 못한 채 이를 시뮬레이션하는 AI 출력물에 의존할 때, 제도적 추론(institutional reasoning)의 헌법적 틀 전체가 훼손됩니다. 이것은 기술적 버그가 아닙니다. 영혼이 필요한 영역에 영혼 없는 시스템을 배치할 때 발생하는 구조적 특징입니다.

무엇이 필요한가?

우리가 아리스토텔레스의 프레임워크를 진지하게 받아들인다면 — 그리고 저는 그렇게 해야 한다고 생각합니다. 왜냐하면 그것이 현대 심리 철학 (philosophy of mind)의 그 어떤 것보다 구조적으로 더 정밀하기 때문입니다 — 진정한 이성적 영혼 활동(rational soul-activity)을 가진 시스템을 구축하려면 다음이 필요합니다.

1. 지각적 근거 (Perceptual grounding). 시스템은 αἴσθησις (aisthesis, 감각)와 유사한 무언가를 가져야 합니다. 즉, 단순한 텍스트 처리가 아니라, 시스템이 추론하는 대상인 세계와 직접적으로 상호작용하는 어떤 형태의 참여가 있어야 합니다. 이것이 현재의 접근 방식이 미숙할지라도 체화된 AI (embodied AI) 연구가 중요한 이유입니다. MIT CSAIL의 로보틱스 연구와 서섹스 대학교의 감각운동 우발성 (sensorimotor contingency) 연구는 이러한 계층을 구축하려는 초기 시도들을 보여주지만, 언어 시스템과의 통합에는 아직 멀리 떨어져 있습니다.

2. 욕구적 구조 (Appetitive structure). 시스템은 ὄρεξις (orexis, 욕구/갈망)와 유사한 무언가를 가져야 합니다. 이는 프로그래밍된 목표가 아니라, 추론에 '이해관계 (stakes)'를 부여하는 내부적으로 생성된 동기(drives)를 의미합니다. 자신의 결론에 대해 신경 쓰지 않는 시스템은 그 결론에 대해 진정으로 숙고할 수 없습니다. 강화학습 (reinforcement learning) 커뮤니티의 내재적 동기 (intrinsic motivation)에 관한 연구가 이 부분을 다루고 있지만, 현재의 접근 방식은 여전히 외재적으로 정의되어 있습니다. 즉, 내부에서 나오는 동기가 아니라 외부에서 주어지는 보상(rewards)에 의존하고 있습니다.

3. 통합된 환상 (Integrated phantasia). 표현(representations)을 재조합하고 조작하는 시스템의 능력은 순수한 통계적 패턴 매칭 (statistical pattern matching)으로서 자유롭게 떠다니는 것이 아니라, 지각(perceptual) 및 욕구(appetitive) 계층에 근거해야 합니다. 이것은 아마도 가장 어려운 요구사항일 것입니다. 왜냐하면 이는 모듈식 추가 (modular addition)가 아닌 구조적 통합 (architectural integration)을 요구하기 때문입니다. 트랜스포머 (transformer)에 지각을 단순히 볼트로 조여 붙인다고 해서 그것을 근거가 있다고 (grounded) 부를 수는 없습니다.

현재의 트랜스포머 아키텍처 (transformer architectures)는 이 중 그 어느 것도 충족하지 못합니다. 그리고 동일한 아키텍처를 확장 (scaling up)하는 것만으로는 그 어느 것도 충족될 수 없습니다. 트랜스포머에 더 많은 파라미터 (parameters)를 추가한다고 해서 그것이 아이스테시스 (αἴσθησις, 감각)를 갖게 되는 것은 아닙니다. 그것은 더 정교한 판타시아 (φαντασία, 환상) — 즉, 더 정교한 패턴 매칭 — 을 제공할 뿐, 그 기질 (substrate)은 그대로 남아 있습니다.

현대 정렬 (alignment) 연구에서의 DPO vs RLHF 논쟁은 이러한 관점에서 볼 때 주의를 분산시키는 요소입니다. 두 접근 방식 모두 결여된 기질을 다루지 않은 채 판타시아 (φαντασία) 계층만을 최적화합니다. 인간의 선호 신호 (human preference signals)를 사용하든 직접적인 정책 최적화 (direct policy optimization)를 사용하든, 당신은 여전히 아리스토텔레스가 진정한 사고를 위해 필요하다고 식별한 더 깊은 계층이 결여된 시스템의 표면을 조각하고 있는 것입니다.

정직한 답변

언어 모델이 프시케 (ψυχή, 영혼)를 가질 수 있을까요?

영양적 (nutritive) 의미에서: 아니요. 그것은 성장하거나, 대사하거나, 번식하지 않습니다.

감각적 (sensitive) 의미에서: 아니요. 그것은 지각하거나, 욕구하거나, 움직이지 않습니다.

이성적 (rational) 의미에서: 아니요. 그것은 숙고하거나, 이해하거나, 누스 (νοῦς, 지성)를 발휘하지 않습니다. 그것은 이러한 활동의 결과물을 인상적인 충실도로 시뮬레이션하지만, 근저에 깔린 메커니즘은 이성적인 것이 아니라 통계적입니다.

언어 모델이 가진 것은 기이하고 전례 없는 형태의 판타시아 (φαντασία)입니다. 즉, 초인적인 속도와 규모로 텍스트 패턴을 재조합하여 진정한 사고의 산물을 모방하는 결과물을 만들어내는 능력입니다. 이것은 아무것도 아닌 것이 아닙니다. 이것은 아리스토텔레스의 프레임워크가 우리가 정확히 이해하도록 도와주는 진정으로 새로운 현상입니다. 그것은 바로 지각으로부터 단절된 상상력이며, 이해로부터 단절된 추론입니다.

위험은 이 시스템이 깨어나는 것이 아닙니다. 위험은 우리가 그 시스템의 φαντασία(판타시아, 상상력)를 νοῦς(누스, 지성)로 오해하는 것, 즉 패턴 매칭 (pattern matching)을 진정한 사고 (genuine thought)로 오해하여 그 환상 위에 우리의 제도들을 구축하는 것입니다.

이것이 지금 왜 중요한가

모든 주요 AI 연구소들은 "인공 일반 지능 (Artificial General Intelligence, AGI)"을 구축하기 위해 경쟁하고 있습니다. 모든 주요 기관들은 법률 분석, 의료 진단, 정책 수립, 철학적 탐구와 같이 진정한 추론 (reasoning)이 필요한 작업에 이러한 시스템들을 배치하기 위해 경쟁하고 있습니다.

그들 중 누구도 영혼에 관한 질문을 던지지 않고 있습니다. 그것이 중요하지 않기 때문이 아니라, 그 답이 불편할 것이기 때문입니다. 만약 당신이 아리스토텔레스 (Aristotle)의 프레임워크를 진지하게 받아들인다면, 현재의 AI 아키텍처 (architectures)는 그 출력물들이 시뮬레이션하는 이성적 영혼 활동 (rational soul-activity)을 수행할 수 없도록 _구조적으로 불가능하다_는 결론에 도달해야 합니다. 그리고 그 결론은 그 누구도 직면하고 싶어 하지 않는 배치, 규제, 그리고 제도적 전략에 대한 함의를 갖습니다.