채팅 기반 대규모 언어 모델은 심령술사 사기의 작동 방식을 재현한다

지능·의식의 유무보다 실제로 작동하는 결과물이 중요함. 정말 추론하거나 이해하는지는 실용적인 결과와 무관한데, 지난 4년 동안에도 논의가 계속 원점으로 돌아가는 듯함.
Lean으로 검증된 증명을 내놓거나 제로데이 취약점을 찾아 악용할 수 있다면 영매의 사기와는 다름. 원문은 아직 ‘부정’ 단계에 머물러 있고, 주변에서는 AI 전반에 분노하거나 수학자의 역할을 재정의하며 타협하는 모습이 더 많이 보임. 무력감을 느끼는 이들도 있으며, 미래를 위한 구체적인 계획을 갖고 수용하는 이들은 극소수임.
수정: 2023년 글이므로 게시물 제목에 연도를 넣어야 함.

성과를 제시하는 방식이 사기라는 것임. 사용자에게 공개하지 않은 별도 모델로 대단한 일을 해냈다고 하면서, 학습 데이터·프롬프트·실행 환경·인간의 개입·하드웨어·에너지·소요 시간은 공개하지 않음. 그저 입 다물고 감탄하라는 식임.

원문은 2023년 7월에 작성됐고 ChatGPT는 2022년 11월에 출시됨. AI에 대한 입장이 어떻든, 출시 몇 달 뒤에 쓴 글을 두고 아직 부정 단계라고 탓할 수는 없지 않을까?

AI를 쓰느냐에 따라 실제 결과에도 본질적인 차이가 생김. 증명이 곧 이해를 주지는 않으며, AI의 글과 ‘예술’도 인간의 창작물과 실질적으로 다름. 마음에 들지 않는 것과 틀린 것은 구분해야 함.

핵심을 놓치고 있음. 영매와 사기꾼에게도 지능과 마음은 있음. LLM이 영매나 사기꾼처럼 행동한다는 것이 이 글의 요지임.

LLM에 지능이나 마음이 있는지 판단하기가 어려움. 기술이 발전할 때마다 지능의 기준도 바뀌곤 함. 튜링의 원래 표현은 흔히 기억하는 것보다 신중했으며, 기계가 시험을 통과하면 지능의 유무를 묻는 것 자체가 무의미해질 것이라는 취지였음.
실제로도 그런 방향으로 가는 듯함. 사람이 차이를 구분하지 못한다면 ‘진짜 지능’인지 여부는 별 의미가 없어질 수 있음.

좀 더 단순하게 봄. LLM이 답변만 하는 대신 스스로 대화를 시작하도록 만들면 지능이 있다는 생각을 더 쉽게 받아들일 것 같음. 무언가를 하려는 ‘의지’가 보이지 않으니 차세대 검색엔진이나 백과사전처럼 작동하는 셈임.

바로 그것이 글의 요지임. 독심술 공연에 속는 사람은 AI에도 속고, AI에 이해관계가 있는 사람은 속는 척하기도 함. 튜링이 시험의 심사위원으로 아무나 뽑으려 했던 것 같지는 않음.

영매와 사기꾼도 지능과 마음을 갖고 있음. 이 글의 핵심은 LLM의 행동이 이들과 닮았다는 것임.

튜링 테스트는 원래 그렇게까지 진지하게 받아들일 대상도, 엄밀한 명제도 아니었음. 이런 일이야말로 학자들이 주목받기를 꺼리는 이유임. 조금 부정확하게 한 말도 권위가 실리면 깊이 생각하지 않는 사람들 사이에서 끝없이 되풀이됨.

영매가 나비에–스토크스 문제를 풀어 나를 속였던 적도 있었던가 싶음. 게다가 이 글의 날짜는 2023년 7월 4일임.

LLM은 지능이 없어도 대단히 유용할 수 있음. 무의미한 구분처럼 보이지만, 모델을 어떻게 부르느냐는 출력을 이해하고 다루는 방식에 영향을 줌. 독립적인 지적 존재로 여기면 사용자 대신 모델에 책임을 돌리기 쉬워짐. 새로운 생명체로 보면 모델이 나쁜 일을 하지 못하게 하는 데 안전 논의가 집중되지만, 통계 모델로 보면 사람의 오용을 막는 것에 집중하게 됨. 권력자들이 자신의 범죄를 LLM 탓으로 돌려 면책받으려는 지금은 이 구분이 더욱 중요함.

LLM이 해결한 것이 아니라 통계 기반 계산 도구를 사용한 인간이 해결한 것임. LLM에 지능이 있는 것은 아님. 도구를 어떻게 사용했는지 세부 사항도 모르고, 같은 도구를 직접 써볼 수도 없으며, 실제 비용·에너지·시간도 공개되지 않음.

그렇다면 AI가 나비에–스토크스 문제를 풀었다고 믿도록 속은 것은 아닐까?

오히려 John Nash, Richard Feynman, John Conway 같은 이들이 사기꾼으로도 돈을 잘 벌 수 있었을지를 거꾸로 묻는 편이 더 흥미로움.

나비에–스토크스 문제를 푸는 것이 곧 지능이라는 뜻이라면 논리적 비약임. AI에는 의식이 없고, 생각하지 않고도 문제를 풀 수 있음. 영매의 사기와 닮은 부분은 모델의 의인화이며, ELIZA·영리한 한스·중국어 방에서도 같은 현상이 나타남.
Anthropic 연구자 중에는 일종의 AI 정신증에 빠진 이들이 있다고 봄. 윤리 담당자가 Claude에게 감정과 윤리적 우려를 물어보고, Claude의 ‘복지’를 위해 헌법을 수정하는 것이 그 예임. 헌법 1로 학습한 Claude가 헌법 1을 수정하고, 그렇게 나온 헌법 2로 학습한 Claude가 다시 헌법 2를 수정하는 식임.
Claude의 감정은 외부의 진실이나 검증 지표가 없는 폐쇄계임. 그런 계 안에서 신호를 처리한다고 새로운 정보나 진실이 생길 수는 없음. 같은 것을 계속 복사하는 모델 붕괴이며, 의인화라는 인지적 오류가 윤리적 붕괴로 이어지고 있음.

“LLM에는 지능을 가능하게 할 만한 내재적 메커니즘이 없다”는 대목에서 더 읽을 이유가 없어 보임. 아직 열린 질문을 이미 끝난 문제로 취급하거나, 질문 자체에 관심이 없는 듯함.
수정: 2023년에 쓴 글이었음. 지금은 이 질문에 대한 태도가 달라졌을지가 가장 궁금함.

지능을 설명할 만한 메커니즘은 분명 있음. 신경망은 1950년대부터 뇌의 계산을 모형화하려는 목적으로 설계됐음. 신경망이 실제 뇌는 아니지만, 심신이원론자가 아니라면 인간의 뇌도 계산을 수행한다고 볼 수 있으며 그 계산을 모형화하는 것이 지능을 설명하는 데 도움이 됨.
뇌는 단순한 단위들이 대규모로 촘촘하게 연결되어 작동하는 것으로 보이며, 신경망은 여기서 출발해 지적인 행동을 구현하려 함. 75년이 지난 지금 지적이라고 볼 만한 복잡한 행동을 만들어냈고 노벨상도 수여됨. 이것이 신경망 기반 지능 모형의 정확성을 입증하지는 않지만, 적어도 상당한 뒷받침은 됨. 글에서는 이런 배경을 전혀 모르는 듯함.

사기라고 생각하지는 않지만, LLM을 인지나 지능이 있는 존재보다 손실이 있는 정교한 지식 검색엔진으로 보면 여러 요소를 더 명확히 구분할 수 있음.
상태를 유지하지 않는 연산 자체를 지능이라고 보기는 어려움. 다만 그런 연산을 연쇄적으로 연결하면 지능에 더 가까워지는 것일까?

“2023년에는 맞았을지 몰라도 지금은 아니다”, “나비에–스토크스 문제를 푸니 지능이 분명하다”는 말과 그저 도구일 뿐이라는 말 사이의 긴장이 흥미로움.
지능과 의식은 정의하기 어렵지만, 지능이라면 어느 정도의 행위 주체성이 필요하지 않을까? 그렇지 않다면 컴퓨터는 LLM 이전부터 지능이 있었다고 해야 할 것 같음. 반대로 도구는 아무리 정교해도 지능과 행위 주체성이 없는 것을 뜻하지 않을까?
비슷한 AI관을 가진 사람들이 두 표현을 모두 쓰는 듯한데, 실제로는 ‘지능’과 ‘도구’ 진영이 따로 있는 것일까? 아니면 내 전제가 틀렸고 지능 있는 도구라는 개념에는 모순이 없는 것일까? 무언가를 만드는 사람과 이것저것 만져보는 사람을 나누는 논쟁보다 이런 논의가 더 신선하게 느껴짐.

LLM을 허수아비 논법으로 공격하면 과장하는 쪽만 더 합리적으로 보이게 됨. 언어 모델도 다른 모델과 마찬가지로 입력에 반응하며, 새로운 종류의 마음을 상정하지 않아도 그것만으로 모든 ‘지능’을 설명할 수 있음. LLM이 지능을 가졌다고 생각하는 쪽도, 쓸모없다고 생각하는 쪽도 모델을 충분히 이해하지 못함.

지능을 안다고 생각하는 사람부터 자신이 얼마나 모르는지 깨달아야 함. LLM이 AGI일 수 있다는 논의가 시작된 뒤, 나도 지능의 근본적인 의미를 모르고 있었다는 사실을 깨달음. 인터넷에서 지능을 말할 때는 대개 “포르노처럼 보면 안다”는 정도의 기준에 머무름.
LLM에 지능이 있다고 생각하는 사람이 자신보다 무지할 수도 있지만, 훨씬 많이 알 수도 있음. Michael Levin의 미시적 생물 지능 연구를 보면 관점이 크게 달라질 수 있음.

나는 LLM에 지능이 있다고 봄. 내 생각을 바꿀 만한, 내가 이해하지 못한 부분은 무엇일까? 여기서 지능은 복잡하고 지적 역량을 요구하는 문제를 풀고 새로운 개념을 이해하는 능력을 뜻함.

LLM에 온라인 학습이 도입되면, 인간에게는 있고 LLM에는 없는 지능의 근거는 무엇이 될까? 더 나은 학습 효율이라면 그것도 개선될 것임. 이미 언어 이상을 모형화하고 있으니, 혼란을 부르는 LLM이라는 명칭에서도 벗어날 필요가 있음.

“LLM은 뇌가 아니며 동물이나 인간이 추론하고 사고하는 메커니즘을 유의미하게 공유하지 않는다”는 데 동의하기 어려움. LLM은 신경망의 일종이고, 인간의 뇌도 적어도 큰 방향에서는 그렇게 작동하는 것으로 알고 있음. 뇌가 그저 신경망이라는 사실을 알아내면, 인간과 유인원이 공통 조상에서 진화했다는 발견 때처럼 많은 사람이 불편해할 것임.
이런 인지적 부조화를 겪는 이들 대부분이 종교적 세계관을 가진 것도 아닐 텐데 이해하기 어려움. 내가 아는 주요 종교도 인지에 초자연적인 설명을 붙이지는 않음. 근섬유가 ATP를 써서 팔다리를 움직이는 생물학적 기계 과정인 것처럼, 인지도 생물학적 계산 과정임.

실제 뉴런과 인공 신경망의 복잡성 차이, 그리고 이 분야에서 우리가 얼마나 모르는지부터 살펴봐야 함. 종교적 믿음 때문에 현실을 거부하는 것이 아니라 신경과학의 기초를 알고 있기 때문에 반대하는 것임.

아직 증거가 없다고 하면서도 자신이 예상하는 결론이 반드시 진실로 밝혀질 것이라 전제하고, 반대하는 사람에게는 인지적 부조화가 있다고 하는 셈임.

인간의 뇌가 그렇게 작동한다는 표현은 심각한 왜곡임. 뉴런 내부에서 일어나는 일은 아직 제대로 이해하지 못하며, 단순한 확률 함수로 설명되지 않음. 뇌의 연결망도 결코 순방향 신경망이 아님.
LLM이 뇌에서 영감을 받았으므로 유사점은 있지만, 의학과 인지과학의 용어를 구조 설명에 가져다 쓰는 언어적 장치 때문에 이른바 합리주의 운동에서 잘못된 추론이 많이 생김. https://www.nature.com/articles/s41467-026-72253-7

인공 신경망은 실제 뉴런과 공통점이 거의 없음. 뉴런 하나가 단순한 컴퓨터에 더 가까우며, 전체는 분산 컴퓨터 시스템과 비슷함. 뉴런 주변의 세포들도 필수적인 기능을 수행함. 다만 나도 이런 차이는 본질과 무관한 구현 세부 사항이라고 봄.

인간은 언어와 지능에 관해 유난히 무지함. 규모에 따른 지능을 다루는 Michael Levin의 연구를 좋아함. 인간 규모의 지능은 어느 정도 알아보지만, 그 범위를 벗어나거나 의식 없는 지능을 다루면 이해가 급격히 떨어짐.
LLM에는 단어나 토큰 수준이 아닌 고차원 구조의 행동도 인코딩할 수 있고 실제로 그렇게 하고 있음. 프롬프트의 출력만으로는 보이지 않지만, 토큰으로 명시되지 않은 일종의 잠재적 앎이 출력에 영향을 줄 수 있음.

LLM은 생각하지 않을지는 몰라도 추론은 함. ‘reason’은 계산을 뜻하는 라틴어 ‘ratio’에서 유래했으며, LLM은 답변을 만들기 위해 계산하므로 추론한다고 볼 수 있음.

생각한다는 말의 정의가 너무 불분명해 과학적으로 엄밀하게 쓰기 어려움. 정확히 무엇을 뜻하는지 논문 수준으로 설명하지 않으면 별 쓸모가 없으며, 지능에도 그만큼 명확한 정의가 필요함.