Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 글은 신경망 기반의 AI가 '진정한(genuine)' 자율적 지능을 가질 수 없다는 주장을 펼칩니다. 필자는 AI 담론이 추론 능력이나 출현적 능력 수준을 넘어, 완전한 자율 에이전트 단계로 격상된 현상을 비판합니다. 궁극적으로 현재의 기술 메커니즘 자체가 진정한 자율성을 구현하는 데 구조적인 한계를 가진다고 주장합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Dev.to AI tag의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기여러분 안녕하세요 👋,
먼저 제가 어떤 말을 할 건데, 이 말은 특정 유형의 사람들을 매우 불편하게 만들 거라는 걸 알고 있습니다. 그래서 면책 조항이나 주의 사항, 그리고 보통 이런 종류의 발언 주변에 붙는 정중한 완곡어법들보다 먼저 말씀드리려고 합니다. 바로 이거예요: 죄송하지만, 아닙니다. 신경망은 실제적이고 진정한, 완전히 자율적인 지능을 갖출 수 없습니다. 여러분이 반박문을 타이핑하기 시작하기 전에 이 문장을 잠시 생각해주셨으면 좋겠습니다. 저는 '진정한(genuine)' 지능이라고 말했습니다. 인공지능(artificial intelligence)이 아닙니다. 유용한 지능도 아니고, 인상적인 지능도 아닙니다. 진정한 것입니다. 그 단어가 그 문장에서 엄청난 역할을 하고 있고, 저는 다른 모든 단어를 선택할 때와 똑같은 신중함으로 이 단어를 골랐습니다. 이전 게시물 진정한 지능은 신경망으로부터 수조 년 동안 결코 나타나지 않을 것입니다에서는 제1원리(first principles)에 기반한 구조적 논증을 펼쳤습니다. 당신이 접근할 수 있는 모든 것은 지식과 도구일 뿐, 결코 지능이 아닙니다!에서는 현재 AI 시스템을 둘러싼 전체적인 지능 서사가 벤처 캐피탈 용어로 포장된 범주 오류(category error)임을 보여줬습니다. 지식과 지능은 상호 배타적입니다에서는 그 논증을 더 밀어붙였습니다. 이번 게시물에서는 한 걸음 더 나아가려고 합니다. 왜냐하면 최근 공적인 대화에서 무언가 변화가 생겼고, 이에 대해 직접적이고 변명 없는 답변이 필요하며, 제가 바로 그 역할을 할 사람인 것 같습니다.
제가 말하는 변화는 다음과 같습니다. 몇 달 전만 해도 AI 담론은 언어 모델의 추론 능력에 대한 주장으로 지배되었습니다. 그 이전에는 출현적 능력(emergent capabilities)에 대한 주장이었습니다. 그전에는 퓨샷 일반화(few-shot generalization)에 대한 주장이었습니다. 매 주기마다, 새로운 능력이 점점 더 흥분된 분위기로 발표되고, 새로운 웨이브의 LinkedIn 게시물들은 특이점(singularity)이 도래했다고 선언하며, 그리고 나서 6개월 뒤 연구자들이 실제로 내부에서 무슨 일이 일어나고 있었는지 보여주는 논문을 발표하는데, 그것은 다시 패턴 매칭(pattern matching)이었습니다. 이 주기는 수년 동안 계속되어 왔습니다. 지금 다른 점은 현재의 주장들이 완전한 자율성(full autonomy) 수준으로 격상되었다는 것입니다. 더 이상 모델이 추론할 수 있다는 주장이 아닙니다. 그 주장은 모델이 의미 있는 인간의 감독 없이 과학적 연구를 수행하고, 소프트웨어를 개발하며, 비즈니스 운영을 실행하고, 스스로 통치할 수 있는 완전한 자율 에이전트(autonomous agents)라는 것입니다. 그리고 저는 왜 그 주장이 단순히 시기상조일 뿐만 아니라, 신경망이 실제로 무엇인지에 비추어 볼 때 구조적으로 불가능한지, 신중하게 그리고 공손하지 않게 설명해야 합니다. 기술이 더 많은 시간이 필요해서 불가능한 것이 아닙니다. 메커니즘 자체가 잘못되어서 불가능합니다. 자전거가 아무리 기술적으로 정교해진다고 해도 날 수 없는 것과 같은 이치입니다. 왜냐하면 자전거의 메커니즘은 비행의 메커니즘이 아니기 때문입니다.
더 나아가서 '진정한 자율성(genuine autonomy)'이라는 구절에 대해서도 언급하고 싶습니다. 왜냐하면 저는 이 용어를 매우 특수하고 까다로운 의미로 사용하고 있기 때문에, 그 의미가 무엇인지 솔직하게 밝히고 싶기 때문입니다. 진정한 자율성이란 스스로 목표를 설정할 수 있는 능력, 자신의 추론 품질을 평가할 수 있는 능력, 자신의 지식이 불충분한 경우를 식별할 수 있는 능력, 어떤 새로운 지식을 찾아야 할지 그리고 어떻게 찾아야 할지를 결정할 수 있는 능력, 설계 과정에서 예상하지 못한 새로운 영역 전반에 걸쳐 작동할 수 있는 능력을 의미합니다. 그리고 이 모든 과정을 의사결정 사슬의 끝단에 인간이 검증하거나, 방향을 수정하거나, 감독하는 것을 필요로 하지 않아야 합니다. 이것이 기준입니다. 매우 높은 기준이죠. 또한 이는 자율적 주체성(autonomous agency)에 대한 모든 진지한 정의가 설정하는 기준이며, 현재 AI 시스템들은 래퍼(wrapper)와 관계없이 이 기준에 도달하지 못하고 현재 아키텍처로는 도달할 수 없습니다. 남은 글에서는 유머를 섞어서 설명하려고 합니다. 그렇지 않으면 제가 미쳐버릴 것 같기 때문입니다. 그리고 이전 모든 포스트에서 사용했던 것과 같은 직설적인 방식으로 말하겠습니다.
다음 반론이 나올 것을 알고 있으며, 그것이 완성되기 전에 끊어내고 싶습니다. 여러분은 제가 언어학적인 미묘한 차이를 따지고 있다고 말할 것입니다. 진정한 지능과 진정한 인공지능 사이의 구분이 단지 의미론적(semantic) 유희일 뿐이며, AI가 인상적인 무언가를 할 때마다 제가 용어를 재정의할 수 있게 해주는 수사학적 움직임에 불과하다고 말하려 할 것입니다. 저는 여러분에게 '아니다'라고 말하고 싶고, 그 이유도 알려주고 싶습니다. 이 구분은 의미론(semantics)에 관한 것이 아닙니다. 그것은 메커니즘(mechanism)에 관한 것이며, 메커니즘이야말로 시스템이 외부에서 아무리 인상적으로 보여도 무엇을 할 수 있고 할 수 없는지를 결정하는 것입니다. 1950년대부터 이 용어가 사용되어 온 의미에서 진정한 인공지능이란 지적인 행동을 모방할 수 있는 시스템을 의미합니다. 여기서 핵심 단어는 '인공(artificial)'입니다. 그 지능은 모방(mimicry)이며, 인공물(artifact)입니다. 지능 자체라기보다는 지능과 유사하게 보이도록 만들어진 것입니다. 우리는 GPT-1 이후로 진정한 인공지능을 가지고 있었습니다. 이 모델들은 개연성 있고 문맥에 적절한 텍스트를 예측합니다. 이것이 바로 한 형태의 인공지능입니다. 그것은 인상적이고, 유용하며, 아무도 달리 행동한다고 가장해서는 안 됩니다.
진정한 지능(Genuine intelligence)이란 '인공적인'이라는 수식어 없이 의미하는 바는 범주적으로 다릅니다. 그것은 훈련 데이터에 기술된 방식이 아니라, 세상 그 자체를 이해하는 능력을 의미합니다. 그것은 훈련 과정에서 흡수된 개념들을 재조합하는 것이 아니라, 제1원리(first principles)로부터 새로운 개념을 형성할 수 있는 능력을 의미합니다. 그것은 생산적인 방식으로 틀릴 수 있는 능력, 즉 잘못됨을 알아차리고, 그것을 조사하며, 왜 그런지 가설을 세우고, 그 가설을 현실에 대입하여 테스트하고, 모델을 업데이트하는 능력을 의미합니다. 그것은 이전에 훈련된 맥락이 전혀 없는 진정으로 새로운 영역에서 기능할 수 있는 능력을 의미합니다. 12세의 인간 아동은 이러한 의미에서 진정한 지능을 가지고 있습니다. 그 아이는 낯선 상황에 걸어 들어가서, 무슨 일이 일어나고 있는지 모델을 형성하고, 예측을 하고, 현실로부터 교정을 받고, 자신의 모델을 업데이트할 수 있습니다. 모든 새로운 상황에 대해 훈련 세트가 필요하지 않습니다. 그들에게 필요한 것은 일반적인 모델 형성 및 인과 추론(causal reasoning) 능력이며, 이는 물리적 세계에서의 체화된 경험(embodied experience)을 통해 발달하는 것이고, 트랜스포머 아키텍처(transformer architecture)가 텍스트 예측을 통해 만들어낼 수 있는 것이 아닙니다. 이 두 가지 종류의 지능 사이의 차이는 정도의 문제가 아닙니다. 그것은 종류의 문제이며, 이 구분을 무너뜨리는 것이 우리가 자신 있게 의료 진단을 환각적으로 생성하는 수십억 달러짜리 시스템들을 갖게 되는 방식입니다.
또한, 지능이 스펙트럼이며 모델들이 그 어딘가에 위치한다는 특정 반론도 다루고 싶습니다. 이 반론은 신중하고 과학적으로 책임감 있어 들리지만, 제가 거부하는 숨겨진 가정을 담고 있습니다. 즉, 인간 지능의 메커니즘과 신경망 예측의 메커니즘이 다른 강도로 작동하는 동일한 메커니즘이라는 것입니다. 그렇지 않습니다. 그것들은 서로 다른 메커니즘입니다. 온도계가 온도를 측정하는 방식은 신체가 온도를 느끼는 방식과는 기계적으로 완전히 다릅니다. 풍경 사진은 같은 풍경을 그린 그림과는 기계적으로 완전히 다릅니다. 온도계와 피부 모두 온도와 공변하는 반응을 생성하지만, 하나는 설계된 측정이고 다른 하나는 생물학에 뿌리를 둔 느껴지는 경험이며, 이 둘은 동일한 스펙트럼 위에 있지 않습니다. 마찬가지로, 언어 모델(language model)은 지능적인 인간의 출력과 공변하는 출력을 생성합니다. 왜냐하면 그렇게 하도록 훈련되었기 때문입니다. 하지만 그 출력을 생성하는 과정은 인간 지능을 생성하는 과정과는 기계적으로 다르며, 유사한 출력 스펙트럼 위에 있다는 것이 그것들이 같은 종류의 것을 의미하지는 않습니다 (1). AI의 역사는 좁은 작업(narrow tasks)에서 지능적인 행동과 구별할 수 없는 출력을 생성했다가, 작업이 아주 조금만 바뀌어도 완전히 실패했던 시스템들로 가득합니다. 그 실패야말로 규모(scale)에 따라 메워질 능력 격차(capability gap)가 아니라, 메커니즘 불일치(mechanism mismatch)의 특징입니다.
[Explaining the difference between genuine and artificial intelligence to a tech bro](https://media2.dev.to/dynamic/image/width=800%2Cheight=%2Cfit=scale-down%2Cgravity=auto/https%3A%2F%2Fdev-to-uploads.s3.us-east-2.amazonaws.com%2Fuploads%2Farticles%2Ffzste65nx99bg7ovhgxv.gif
이러한 구분의 실질적인 차원은 엄청나게 중요하며 공론장에서 정직하게 논의되지 않고 있습니다. 기업들이 시스템을 자율 에이전트로 배포하고 그 시스템이 진정으로 지능적이라고 주장할 때, 그들은 해당 시스템이 신뢰성 있게 작동할 수 있는 조건 범위에 대해 암묵적인 약속을 하는 것입니다. 진정한 지능은 새로운 조건 전반에 걸친 견고함(robustness)을 내포합니다. 인공지능은 훈련 분포 내에서 신뢰할 수 있는 성능을 의미합니다. 이 두 가지 약속은 그 범위가 완전히 다르며, 바로 이 간극 때문에 사람들이 피해를 입게 됩니다. 진정으로 자율적인 시스템은 설계 과정에서 예상되지 않은 상황들을 처리할 것이라고 신뢰할 수 있습니다. 하지만 자율성을 모방하는 시스템은 자신이 훈련받은 것과 유사한 상황들만 처리할 것이라고 신뢰할 수 있을 뿐입니다. 이는 결정적으로 다른 종류의 신뢰 관계이며, 이 둘을 혼동하는 것이 우리가 비가 오는 날에 실패하는 자율 주행 차량, 특이한 환자 상태에서 실패하는 자율 의료 자문 시스템, 그리고 어떤 인간 검토자도 놓치지 않을 보안 취약점을 자신 있게 도입하는 자율 코딩 에이전트들을 갖게 되는 방식입니다. 진정한 지능과 인공지능 사이의 언어적 구분은 단순한 게임이 아닙니다. 이는 이 분야 전체에서 가장 실질적으로 중요한 구분입니다.
심호흡을 해보자. 심호흡을 하자. 좋아. 내가 할 수 있는 가장 상냥한 방식으로 말할게. 물론 그 방식이 아주 상냥하지는 않지만 말이야. 나는 이 일반적인 결과 범주에 대해 이전 게시물에서 여러 번 썼고, 이런 일이 일어날 것이라고 예측했었지. 이것은 그 결과가 나에게 놀랍지 않았다는 것을 의미하고, 내가 왜 관심을 기울여 온 사람이라면 누구에게나 놀라지 않을 것인지 정확히 설명하고 싶다. 인간의 수학적 지식 전체를 학습한 모델, 여기에는 단순히 올바른 정리뿐만 아니라 실패한 증명, 부분적으로 해결된 문제, 휴리스틱(heuristics), 유추, 연구자 노트, 교과서 연습문제, 경시대회 문제, 그리고 수 세기에 걸쳐 인간이 표현한 수학적 추론의 전체 코퍼스(corpus)가 포함된다. 그런 모델이 이전에 미해결이었던 문제에 대한 해답을 생성하는 것은 예상되는 일이다. 나는 이것이 인상적이지 않다고 말하지 않았다. 이것은 '예상된다'고 말했다. 여기에는 차이가 있고, 그 차이는 우리가 그것으로부터 결론을 내리는 데 중요하다.
모델이 하는 일은 수학적 텍스트에 대한 학습된 표현(representation) 위에서 패턴 완성(pattern completion)과 통계적으로 유사한 것입니다. 이것이 때때로 이전에 해결되지 않은 문제에 대해 올바른 증명(proofs)을 생성할 수 있다는 사실은 놀랍지만, 충분히 상세한 기상 시뮬레이션이 그 시뮬레이션이 기상학을 이해한다는 증거가 아닌 것과 마찬가지입니다 (2). 시뮬레이션은 정확한 예측을 생성합니다. 그것은 이해하지 못합니다. 모델은 정확한 증명을 생성합니다. 그것은 이해하지 못합니다. 이들은 같은 것이 아닙니다.