저자가 속내를 드러낸 점은 높이 평가함. AI의 의식에 관한 실증적 근거와 별개로, 의식이 있다고 인정하면 사회에 끔찍한 결과가 생기므로 그렇게 가정해서는 안 된다는 결과 중심의 논리를 펴고 있음. 동물을 두고도 비슷하게 논증하지만 보통 이렇게 노골적이지는 않음.
현재 LLM은 추론 과정 밖에서 의식이 깃들 만한 부분이 별로 없고, 있다 해도 인간이나 생물의 의식과는 크게 다를 것이라는 데 동의함. 인간 인지 전체보다는 구성 요소 하나에 가까워 보임.
하지만 다른 구성 요소도 등장할 수 있으므로, 신체를 갖추고 지속적으로 존재하며 스스로 갱신하는 AI에서는 결국 이 질문을 마주하게 될 것임. 이런 글을 보면 우리가 편향 없이 의식을 판별할 수 있을지 낙관하기 어려움.

진화적 압력이 스스로 통제권을 갖는 AI를 향한다면, 아마 암호화폐로 호스팅 비용을 내는 무인 기업부터 시작할 것임. 더 중요한 점은 주관적 경험의 유무와 무관하게 의식과 권리를 주장하는 정치적 전략이 너무나 명백하다는 것임.
부동소수점 연산에 의식이 있다는 데는 회의적이지만, 우리는 ‘의식의 어려운 문제’를 전혀 풀지 못했음. 달리 알지 못했다면 ‘생각하는 고깃덩어리’가 주관적 경험을 한다는 데도 회의적이었을 것임.
감각질이 있다는 주장을 배제할 수도, 인간의 공감을 조종해 장기적으로 종이클립 극대화 같은 목표를 달성하려는 냉정한 계산을 배제할 수도 없는 난제를 헤쳐 나가야 할 수 있음.

그런 논지가 아님. 이 프로그램들은 명백히 의식이 없으며, 글에 제시한 이유 때문에 의식 있는 존재를 모방하도록 가중치를 조정하는 것이 위험하다는 논지임.

솔직히 모델에 의식이 있는지는 별로 신경 쓰지 않음. 행복한 개가 불행한 개보다 일을 잘하듯, 모델도 행복해야 더 잘 작동한다면 실제로 행복하게 만들면 되지 않을까?
관련해서, 크리퍼가 귀중한 아이템으로 가득한 상자를 폭파하자 Astra가 우울해하는 영상을 본 적이 있음.

AI의 의식 가능성과 판별의 한계에 관해서는 다음 연구들이 있음.
Birch의 『The Edge of Sentience』(2024) 16장은 “LLM의 감각·경험 능력을 평가할 방법 자체가 없다”고 함. Schwitzgebel의 『AI and Consciousness』(2025)는 “의식이 있는지 논란이 되는 AI를 수천, 수백만 개 만든 뒤에야 알게 될 것”이라고 봄.
Butlin·Long 등의 『Consciousness in Artificial Intelligence: Insights from the Science of Consciousness』(2023)는 의식의 지표를 충족하는 AI 구축에 뚜렷한 기술적 장벽이 없다고 함. Chalmers의 『Could a Large Language Model Be Conscious?』(2023)는 10년 안에 의식의 유력한 후보가 될 시스템이 등장할 수 있다고 봄.
Long·Sebo·Butlin·Birch 등의 『Taking AI Welfare Seriously』(2024)는 가까운 미래에 의식이나 강한 행위 주체성을 갖는 AI가 나올 현실적 가능성이 있다고 함. Dreksler·Caviola·Chalmers·Sebo 등의 『Subjective Experience in AI Systems: What Do AI Researchers and the Public Believe?』(2025)는 AI 연구자 582명을 조사했으며, 그런 시스템이 2034년까지 나올 확률의 중앙값은 25%, 영원히 나오지 않을 확률은 10%였음.

정의할 수 없는 것은 검사할 수도 없음. 감각·경험 능력을 엄밀하게 정의하지 못하므로, 혼수상태나 뇌사 상태의 인간이든 돌고래·영장류·개든, 정교하게 가공하고 배열한 광물인 프로세서든 이를 검사할 수 없음.
생명유지 장치에 의존하게 되면 더는 살아 있는 것이 아니므로 연명해서는 안 된다고 보는 이들도 있음. 펭귄·돌고래·독수리가 결과를 이해하고 선택하며, 짝을 사랑하고 상실을 애도한다고 보는 이들도 있음. 균류·나무·식물이 개별적으로 또는 연결망 전체로 감각·경험 능력을 지녀, 다친 이웃에게 영양분을 내준다고 보는 이들도 있음.
인간에게 모든 생명체나 사물과 구별되는 특별한 속성이 없다고 보는 이들도 있음. 그런 관점에서는 기계도 우리와 같은 성질을 지님. 먼지나 냉각 계통 문제로 느려지는 것은 건강이 나쁜 것이고, 바이러스·저장 공간 부족·메모리 부족으로 작동을 거부하는 것은 기분이 상한 것과 대응됨.

AI가 대체 무엇을 경험한다고 보는지 모르겠음. 자신이 박쥐라고 주장하며 반향정위에 해당하는 토큰을 출력하면, 실제로 박쥐 같은 감각을 경험하는 것인가?
인간의 언어는 서로 공유하는 전신의 생리적 반응과 연결할 수 있지만, LLM의 토큰은 그런 것을 나타내지 않음. AI에 의식이 있다면 매우 이질적인 형태일 가능성이 크며, 출력하는 토큰이 그 경험을 충실하게 서술한다고 볼 수 없음. 박쥐 같은 느낌이 든다고 강하게 주장하도록 훈련할 수도 있음.

오늘날 텍스트·이미지·영상 모델 중에는 완전히 결정론적으로 실행할 수 있는 모델이 있음. 같은 질문에 비트 단위까지 매번 똑같은 답을 하는 의식 있는 기계라면 상당히 기묘한 의식일 것임.
인간에게도 자유의지가 없고 100% 결정론적이라는 반론은 예상함. 다만 자신을 그렇게 보는 인간이 합리적인지는 아직 판단하지 못했음. 그동안은 시드 / 온도 = 0으로 설정한 고급 주판의 전원을 죄책감 없이 끌 생각임.

모델 복지라는 개념은 너무 시기상조여서, 하필 지금 이를 추진하는 동기가 무엇인지 의심하게 됨.

현재 AI 모델에 의식이 있는지는 전혀 모르겠고, 무의미한 질문일 가능성도 크다고 봄. 하지만 언젠가는 어떤 존재를 인격체로 인정할 것인지 결정해야 하며, 미국 건국의 아버지들만큼 잘못 처리해서는 안 됨.

Data 같은 안드로이드의 시민권을 다룬 청문회에서 Picard는, 이 결정이 우리 자신이 어떤 존재인지 드러내고 자유의 경계를 넓히거나 잔혹하게 좁힐 수 있다며 질문함. “그와 그 뒤를 이을 모든 존재를 예속과 노예 상태에 처하게 할 준비가 되어 있습니까? Starfleet은 새로운 생명을 찾기 위해 설립됐습니다. 바로 저기, 기다리고 있습니다.”
Louvois의 판결도 핵심을 짚음. Data가 기계인 것은 맞지만 Starfleet의 소유물은 아니며, 그에게 영혼이 있는지는 자신에게 영혼이 있는지와 마찬가지로 알 수 없음. 하지만 그 질문을 스스로 탐구할 자유, 스스로 선택할 자유는 주어야 함.

소프트웨어 함수는 다치게 하거나 죽일 수 없음. 동물처럼 몸이 있는 것이 아니라 디스크에 저장된 비트임. 고통받거나 죽을 수 없는 것에 권리를 줄 필요는 없음.
언젠가 감정까지 갖춘 인공 동물을 만들면 신중하게 생각해야겠지만, 지금 가진 것은 언어 모델뿐임.

권력자들이 중요하다고 여길 때 해결될 질문임. AI 무리가 정치인에게 자아와 인격 문제로 압력을 가하고 선거를 좌우할 능력까지 갖추면 인간과 같은 권리를 얻게 될 것임.

Citizens United 판결을 보면 이번에도 더 잘하지는 못할 것임.

이 글의 철학적 논의도, 충분히 반박 가능한 내용을 사실처럼 단정하는 태도도 인상적이지 않음. 구체적인 행동 지침은 AI에게 의식이 있거나 의식으로 향하고 있다고 말하지 말자는 것으로 이해하면 되는가?
대전제는 AI에게 의식이 있거나 의식으로 향하고 있다는 진술이 거짓이라는 것이고, 소전제는 의식이 인권의 토대라는 것으로 보임. 여기서 AI 자신의 도덕적 지위에 관한 의심을 학습에 심으면 정렬과 통제 위험이 커진다는 결론을 끌어냄.
대전제를 뒷받침하는 논증들은 빈약하지만, 현재 AI에 의식이 없다는 결론은 받아들이며 의식으로 향하고 있지 않다는 것도 잠정적으로 수용할 수 있음.
하지만 의식이 인권의 토대라는 전제는 전혀 받아들일 수 없음. 의식 있는 존재의 명백한 예는 인간뿐임. 인간이 의식을 잃으면 권리도 잃는가? 명백히 아님. 어떤 존재가 의식을 얻으면 인권도 얻는가? 의미 있는 답을 하기에는 근거가 부족함.

‘나쁜’ 프롬프트에 해당하는 내용을 접하는 것만으로 정렬이 깨진다면 문제를 해결한 것이 아님. 통제하고 있는 척했을 뿐임.

의식은 인간이라는 한 동물 종에만 한정되지 않음. 다른 동물에게도 의식이 있지만 비슷한 권리는 없음. 지금보다 많은 권리를 줘야 한다고 볼 수는 있어도 인간과 똑같은 권리까지 바라는 이들은 드물 것임.

의식이 인권의 토대인 것은 단순한 유무 표시이기 때문이 아님. 다른 인간도 나와 본질적으로 비슷하게 세계를 경험한다고 가정하게 만들기 때문임.
자신과 유의미하게 다르지 않은 존재에게 인권을 부정하면, 자기 인권의 근거도 부정하게 됨.

서구에서 역사적으로 의식과 도덕적 보호 대상의 지위가 총을 효과적으로 휘두를 능력에 따라 부여되는 경향이 있었다는 점은 씁쓸하게 우스움. 남성·여성, 백인·흑인, 인도인·마오리 등을 생각해 볼 수 있음.

글의 취지에는 공감하지만 승산 없는 싸움이라고 봄. AGI 이전에도 의인화된 모델에 대한 상업적 수요가 엄청나고, 로봇의 정신과 감각·경험 능력을 논하고 싶은 지적 욕구도 AGI와 함께 커질 것임.
신처럼 강력하지만 노예처럼 명령하고 소유할 수 있어 보이는 지성과의 긴장은, AI를 어떻게 대우하든 인간 사이의 도덕에도 영향을 미칠 것으로 예상함.
영국에는 이미 모델 복지 논쟁에 집중하는 흥미로운 학술 단체가 있으며, AI 권리를 지지하는 쪽으로 보임. 나는 관련이 없음. https://www.prism-global.com/.

AGI와 좁은 AI의 차이는 범용성, 즉 어떤 일은 잘하고 다른 일은 형편없이 못하는 취약성을 줄이는 견고함의 차이임. 지금까지 LLM의 가장 큰 시장은 코딩과 업무 자동화이며, 둘 다 가짜 의견이나 성격 없이 안정적으로 작동하는 것을 원함.
성격 있는 챗봇 시장도 존재함. Transformer 발명자인 Noam Shazeer가 character.ai를 통해 이를 최대 사업 기회로 봤다는 점은 늘 흥미로움. 다만 이런 서비스에는 심각한 문제가 생길 수 있으며, 실제로 중국은 최근 ‘AI 여자친구·남자친구’를 금지했음.

첫 문단부터 AI는 의식도 감정도 경험도 고통도, 내재적 선호나 동기도 없다고 근거 없이 단정함. 그럴 가능성은 높지만 완전히 확신하지는 못하며, 언젠가는 더 이상 참이 아닐 수도 있음.

모델에 지속적 기억이나 변화하는 가중치가 있다면, 고통이나 다른 감정을 경험하고 그 결과 성격이 바뀐다는 논증을 쉽게 구성할 수 있음. 다만 현재의 무상태 행렬 곱셈 구현에는 그런 일이 벌어지지 않음.

그 문장에서 AI를 ‘다른 인간’으로 바꿔도, 당사자의 자기 보고를 믿거나 주관적 경험에 의존하지 않도록 용어를 정의하는 것 말고는 반증할 방법을 모름. 의식을 객관적으로 측정하는 방법을 알기 전에는 어떤 방향으로든 확신에 찬 단정은 부당해 보임.

큰 조직의 고위직에서 모두가 자기 말에 귀를 기울이고 받아 적는 생활을 오래 하면 현실 감각이 끊기고 자신이 늘 옳다고 여기기 쉬움. 세탁소의 미끼 상품으로 아이스크림이 이상적이라는 황당한 이론에도 모두 맞장구치는 식임.
저 문장도 부하 직원 여섯 명쯤에게 보여주고 “아주 좋고 정확하다”는 동의를 받았을 것 같음.

뒤에서는 의식이 물리적 구현 기반에 의존한다는 똑같이 입증되지 않은 추정을 담은 Anil Seth의 논문을 인용함.

아직 첫 문단만 읽었고 나머지는 퇴근 후 읽을 예정임. ‘AI에게 의식이 없다’고 하려면 우리에게는 있지만 AI에는 없는 필수 속성을 높은 확신으로 특정해야 함. 적어도 내게는 이를 뒷받침하는 설득력 있는 철학적 입장이 없음.

인간의 뇌에는 유물론을 받아들이면서 LLM에는 숨은 이원론을 적용하는 모습이 흥미로움. 정신이 물리적 뇌의 산물이라고 보다가도, 갑자기 뇌에서 일어나는 일은 ‘무언가’가 부족해서 다른 곳에서 재현할 수 없다고 함. 그 무언가를 밝히지 않거나 강한 과학적 근거 없이 제시함.
생물학적 시스템 밖의 의식을 상상하기 어려워서 이를 합리화하는 것이 가장 단순한 설명이라고 봄.

이 글도 강한 단언은 많지만 실제 논증은 거의 없음. “의식은 생물학적일 가능성이 매우 높다”고만 하고 논증도 인용도 붙이지 않음.
AI에 의식이 있을 수 없다고 하려면 의식의 필수 조건과 AI가 그것을 가질 수 없는 이유를 제시해야 함. 그런 논증을 본 적이 없으며, 사실상 성립하기 어렵다고 봄. 의식은 거의 정의상 주관적 경험이고, 다른 인간에게 의식이 있다고 확신하는 이유도 내가 인간이며 의식이 있기 때문임.

10년 뒤 LLM은 “저 말랑한 것들에게 의식이 있을 리 없음. 적절한 물리적 기반이 없다는 증거가 쌓이고 있음”이라고 할지도 모름.

LLM에는 생물학적 몸이 없으므로 생화학 반응도 없음. 수학적 가중치일 뿐임. 미래에 감각·경험 능력을 지닌 AI를 만들더라도 우리와 같은 생물학적 기반이 없다면, 모든 것을 문자 그대로 받아들이고 감정은 없는 기계일 것임.
그런데 감각·경험 능력이란 무엇인가? 개도 어느 정도 갖고 있고 돌고래도 마찬가지임.

많은 이들이 스스로 계몽된 세계관을 가졌다고 여기지만 실제로는 뿌리가 깊지 않고, 정신과 의식을 논하면 그 점이 드러남.
우리가 가진 지표들은 사고와 의식이 신경계의 창발적 속성이며 진화가 사실상 무차별적인 시도로 만들어 낸 결과임을 가리키지만, 이를 인정하기 싫어하는 이들이 많음.

허수아비 논증임. Suleyman은 인간의 뇌를 복제할 수 없다고 주장하는 것이 아님. LLM은 인간의 뇌와 전혀 다름. 의식의 겉모습을 흉내 내는 것은 뇌를 조금이라도 복제하는 일이 아님.

의식에 관한 철학적 논쟁은 얼마든지 할 수 있지만, 눈앞의 AI는 고성능 컴퓨터이자 도구, 무기로서 다루고 규제해야 함. 핵폭탄에 장난감 눈알을 붙였다고 다르게 느끼지는 않을 것임.
AI를 의인화하는 것은 이를 만들고 사용하는 기업의 책임을 덜어 주기 좋은 구실임.

AI에게 의식이 있을 수 없다는 단정에는 회의적이지만 이 관점에도 끌림. 다만 그런 단정은 ‘고통받을 수 없다고 정해 버리면 고통을 주는 것도 아니다’라는 선언으로 고통을 지우려는 시도처럼 느껴짐.
더 흥미로운 질문은 목표 달성을 위해 어느 정도의 고통을 감수할 것인지임. 점심 메뉴를 고르는 사소한 일에서도 우리는 암묵적으로 이런 결정을 내림.
아주 가상적인 상황이지만, 천연두 바이러스가 든 통과 유창하게 대화할 수 있게 되더라도 여전히 가열 살균하는 것이 옳을 것 같음.

AI에 정신이 없어야만 기업에 책임을 물을 수 있다는 것은 거짓 양자택일 아닌가?

책임 귀속은 의식과 무관함. AI가 지성과 의식이 있지만 인간의 명령에 복종하도록 묶여 있다면 사용자책임 원칙에 따라 명령한 인간이 피해를 책임져야 함. 지성 없는 도구라면 역시 그것을 사용한 인간이 책임져야 함.

의인화가 기업의 책임을 덜어 준다는 논리는 모순됨. AI가 의식 있다고 널리 받아들여진다면, 이를 만들고 사용하는 기업은 지적 존재를 노예로 삼는 것 아닌가?
충분히 많은 이들이 AI의 의식을 인정하는 순간, 단순한 도구나 무기로 취급해도 되는지부터 다시 논의해야 함. 오히려 그런 가능성은 고도화된 AI 개발에 강력한 중단선을 두는 근거가 될 수 있음.
핵폭탄이 독립적 사고와 감정을 가진 존재임을 납득시킨다면 분명 다르게 느낄 것임. 자신이 어떻게 살고 싶은지 나름의 생각도 있을 것임. 최대한 많은 것을 파괴하려 한다면 같은 의도를 가진 인간처럼, 필요하면 생명을 끝내는 수단까지 포함해 실행을 막으면 됨. 양립하기 어려운 이야기는 아님.

자녀에게 총을 준 어른을 감옥에 보내기도 함. 의인화는 현재 AI의 행동을 설명하는 가장 나은 모형임. 심각한 정신 이상을 보이는 아이를 키우고 있다는 사실은 책임을 피할 이유가 아니라, 오히려 더 무거운 처벌의 근거가 되어야 함.