TL;DR: 「AI는 진정한 지능을 갖는가」라는 질문에 Yes/No로 일괄적으로 답하려 하면 대개 막히게 된다. 지능을 어떻게 조작적으로 정의할지가 애초에 정해져 있지 않기 때문이다. 본고에서는 저명한 AI 연구자들의 회의론을 추적하던 작업이 그 막다른 길에 부딪혀, 「질문을 분해하여 각각을 경험적으로 검증 가능한 형태로 바꾸는」 우회로에 도달하기까지의 과정을 그대로 기록한다. 분해하더라도 여전히 결론이 나지 않는 대립점은 남지만, 적어도 「무엇에 대해 의견이 갈리고 있는가」는 보이게 된다.

자사에서 운용 중인 AI 기사 수집 시스템(Medium의 기술 기사를 지속적으로 수집하여 AI가 평가하게 하는 메커니즘)의 코퍼스(Corpus)를 분석하고 있었을 때의 일이다. 평가 대상 671개 중 약 절반이 AI로부터 「게재 보류(SKIP)」 판정을 받고 있었다. 그 이유를 분류별로 살펴보면, 「의견·분석(OPINION_ANALYSIS)」이라는 카테고리가 가장 많았고, 그다음으로 많았던 것이 「미검증 의견 요약(UNVERIFIED_OPINION_SUMMARY)」이었다.

출처: 자사 기사 수집 시스템의 AI 평가 로그, 2189건 중 761건의 평가 완료 레코드 집계

이 중에 Yann LeCun(얀 르캉)을 언급한 기사가 여러 개 포함되어 있었다. 헤드라인은 모두 기세가 좋았다. 「다음 AI 브레이크스루(Breakthrough)는 앞으로 2년」「AI 업계는 틀렸다, 라고 LeCun이 지적」과 같은 식이다. 그런데 AI의 평가 코멘트를 읽어보니, 판정 이유는 도장이라도 찍은 듯 똑같았다. 「유명인의 발언을 전해 들은 대로 재구성하여 단정적인 예측으로 꾸며내고 있다」, 「1차 정보의 뒷받침이 없다」.

솔직히 말하자면, 처음 이것을 보았을 때 머릿속을 스친 것은 「그럼 유명인의 발언을 정리하는 기사를 쓰면 읽히지 않을까」라는 유혹이었다. 하지만 그것이야말로 지금 내 시스템이 「가치가 낮다」고 판정하고 있는 패턴 그 자체가 아닌가. 읽기 쉽지만 내용이 없는 기사를, 아이러니하게도 내 손으로 양산할 뻔했다.

먼저 기초부터 확인할 필요가 있었다. Yann LeCun은 합성곱 신경망 (CNN, Convolutional Neural Network)의 실용화에 관한 선구적인 연구로 알려져 있으며, 2018년에 Yoshua Bengio, Geoffrey Hinton과 함께 튜링상 (Turing Award)을 수상한 연구자이다. 현재는 Meta의 수석 AI 사이언티스트를 맡고 있다.

출처: ACM Turing Award 2018 공식 발표 및 각사 보도에 따른 LeCun의 경력

그 LeCun이 지금 가장 목소리 높여 주장하고 있는 것은 현행 대규모 언어 모델 (LLM, Large Language Model) 노선에 대한 회의론이다. 다음 단어(토큰)를 예측한다는 학습 방식만으로는 인간과 같은 범용적인 지능에 도달하지 못한다는 것이 그의 일관된 입장이다. 대신 그가 제창하고 있는 것이 JEPA (Joint Embedding Predictive Architecture)라고 불리는, 영상 등의 세계 관측 데이터로부터 「세계 모델 (World Model)」을 학습시키는 접근법이다.

출처: LeCun이 여러 강연·인터뷰에서 일관되게 표명하고 있는 입장, Meta가 공개하고 있는 JEPA 관련 연구 발표

여기까지는 아직 「어느 연구자의 의견」의 범주를 벗어나지 않는다. 본론은 여기서부터였다.

LeCun의 주장을 이해하려고 하면 반드시 「애초에 지능이란 무엇을 가지고 측정하는가」라는 질문에 부딪힌다.

고전적인 답변은 튜링 테스트 (Turing Test)다. 인간과 대화하여 구별할 수 없으면 지능이 있다고 간주한다는 기준이다. 하지만 지금의 LLM은 대화의 모방이라는 점에서는 상당한 수준에 도달해 있으며, 이 기준은 이제 「지능이 있는지 없는지」보다 「모방을 잘하는지」를 측정하고 있는 것일지도 모른다. 물론 「모방이 충분히 뛰어나다면 그것을 지능이라고 불러도 되지 않을까」라는 실용주의적인 입장도 성립한다. 다만, LeCun은 이 입장을 취하지 않는다. 행동의 겉모습만으로 판정하는 것이 아니라, 그 행동을 만들어내고 있는 메커니즘——세계 모델을 가지고 있는지——까지 묻고자 하는 것이 그의 논의의 출발점이 되고 있다.

또 다른 대안은 벤치마크 스코어 (Benchmark Score)다. 수학·코딩·상식 추론 등의 태스크에서 수치를 내는 방식으로, 진보를 정량화하기 쉽다는 장점은 있지만, 특정 벤치마크에 최적화된 학습이 진행될수록 스코어와 실제 범용 능력 사이의 괴리가 지적되고 있다 (이른바 벤치마크 포화 문제).

이에 대해 르칸(LeCun)이 예로 자주 드는 것이 ARC-AGI라는 벤치마크다. 소수의 예제를 통해 패턴을 추출하고, 미지의 문제에 응용하는 '샘플 효율성 (Sample Efficiency)'을 측정하도록 설계되어 있다. 여기서도 르칸의 입장은 일관적이다. '방대한 데이터를 힘으로 학습하는' 현행 노선과, '적은 경험으로부터 효율적으로 일반화하는' 인간적인 학습 양식 사이의 차이를 측정하려 하고 있다.

즉, '지능을 어떻게 측정할 것인가'라는 시점에서 이미 여러 학파가 병립하고 있다. 측정 방법이 하나로 정해져 있지 않은 것에 대해 '가진다/가지지 않는다'라는 이분법적 선택지로 답을 내놓으려는 것은, 애초에 무리가 있는 것이 아닐까.

지능의 정의가 이토록 갈려 있는 이상, 'AI는 진정한 지능을 갖는가'라는 질문에 Yes/No로 답하는 것이 과연 얼마나 의미가 있을까. 정의가 정해지지 않은 개념에 대해 진위를 판정하려는 것은, 애초에 질문으로서 성립하지 않는 것이 아닐까. 작업을 하던 도중, 문득 그 지점에서 발걸음을 멈추었다.

하나의 실마리가 된 것이 '언어의 금기화 (Tabooing of words)'라고 불리는 사고방식이다. 어떤 단어가 가리키는 현상에 대해, 그 단어 자체를 사용하지 않고 다시 이야기해 보는 수법이다. '지능'이라는 단어를 봉인하고, '세계 모델 (World Model)을 가지고 있는가', '미지의 상황에 적은 경험으로 대응할 수 있는가', '계획을 세워 행동을 수정할 수 있는가'와 같이 개별적으로 관측 및 실험 가능한 현상으로 치환해 보면, 논의는 즉시 구체적으로 변한다.

생각해 보면, 생물학에서의 '생명이란 무엇인가' 또한 엄격한 정의가 내려지지 않은 채 수십 년간 연구가 진행되어 온 영역이다. 정의의 확정을 기다리지 않고 대사, 복제, 진화와 같은 개별적인 특성을 하나씩 조사함으로써 분야 자체는 전진해 왔다. 지능에 대해서도 동일한 우회로를 사용할 수 있지 않을까.

그래서 르칸의 주장을 '지능을 갖는지 여부'라는 하나의 덩어리가 아니라, 개별적인 논점으로 분해해 보았다.

세계 모델 (World Model): 현행 LLM은 텍스트의 통계적 패턴은 학습할 수 있지만, 물리 세계의 인과 구조 그 자체를 표현하는 '세계 모델'을 갖지 못한다는 것이 르칸의 입장이다. 이 부분은 실험(물리 시뮬레이션에서의 예측 정밀도 등)을 통해 검증 가능한 주장이라고도 할 수 있다. -
다음 토큰 예측 (Next Token Prediction)의 한계: 직전까지의 단어 나열로부터 다음 단어(토큰)를 확률로 계속 추측하는 방식은, 긴 추론 과정에서 오차가 축적되기 쉽다는 지적이다. 이 또한 생성의 길이와 정밀도의 관계를 측정함으로써 경험적으로 검증할 수 있다. -
샘플 효율성 (Sample Efficiency): 인간의 아이는 훨씬 적은 경험으로부터 학습하는 것에 반해, 현행 모델은 차원이 다른 방대한 데이터를 필요로 한다는 비교다. ARC-AGI와 같은 벤치마크가 바로 이 점을 측정하려 하고 있다. -
계획 능력 (Planning Ability): 목표로부터 역산하여 행동을 구성하는 능력에 대해서도, 르칸은 현행 방식에 한계가 있다고 보고 있는 듯하다.

이렇게 입도를 세분화하면, 각각의 논점은 'Yes/No'가 아니라 '어느 정도', '어떤 조건에서'라는 형태로 논의할 수 있게 된다. 하나하나의 논점은 적어도 부적절하게 설정된 문제(Ill-posed problem)라고는 할 수 없을 것이다.

다만, 솔직히 말하자면 입도를 세분화하더라도 여전히 결론이 나지 않는 대립은 남는다. 스케일링 법칙 (Scaling Law)을 지지하는 진영(데이터와 계산량을 계속 늘리면 현행 방식 그대로도 도달할 수 있다는 입장)과, 르칸처럼 아키텍처 자체의 전환을 필요로 하는 진영 사이의 대립은 개별 논점으로 분해한 후에도 해소되지 않는다. 게다가 각각의 논점을 '어떻게 측정해야 결론이 난 것으로 간주할 것인가'라는 측정 방법 자체에 대해서도 양측의 합의가 있는 것은 아니다. 분해를 통해 알 수 있는 것은 '무엇에 대해 의견이 갈리고 있는가'까지이며, 그 너머의 결론까지 내주지는 않는다.

지금까지의 작업을 되돌아보며 깨달은 것은, 당초 생각했던 '업계 유명인의 발언을 정리하는 기사'라는 안 자체가 서두에서 보았던 'SKIP' 판정 패턴에 상당히 가깝다는 사실이었다. 유명인의 발언을 나열하기만 하는 기사는 읽기는 쉽겠지만, 독자의 판단을 갱신할 재료가 되기는 어렵다.

대신 남은 것은, 'Yes/No로 답할 수 없는 질문에 어떻게 접근했는가'라는 과정 그 자체였다. 정의를 확정시킨 후 논의를 시작하는 것이 아니라, 언어를 일단 금기화하여 개별적으로 검증 가능한 논점으로 분해한다. 분해해도 여전히 남는 대립은 대립으로서 솔직하게 기록해 둔다.

서두에서 언급한 'SKIP' 판정 기사군을 개별 기사나 저자를 특정하지 않는 형태로 이 프레임워크에 다시 대입해 본다. 전형적인 구성은 이러했다——헤드라인은 '〇년 후의 다음 브레이크스루', '업계는 틀렸다'와 같은 단정적인 예측. 본문은 르칸이 어딘가에서 말한 내용을 제삼자가 요약·재구성한 것이며, 1차 정보(본인의 강연·논문·공식 발표)에 대한 링크는 없다.

이를 입도(Granularity, 粒度) 분해에 적용해 보면 보이는 것이 있다. "업계는 틀렸다"라는 헤드라인만으로는, 그것이 세계 모델 (World Model)에 관한 이야기인지, 다음 토큰 예측 (Next Token Prediction)의 한계에 관한 이야기인지, 아니면 단순히 "더 다른 아키텍처 (Architecture)가 필요하다"라는 일반론인지, 본문을 읽어도 판별하기 어려운 경우가 많았다. 그렇다면 AI 평가 시스템이 제시했던 "1차 정보의 뒷받침이 없다", "전해 들은 듯한 재구성"이라는 이유는, 사실 오인을 지적했다기보다 이 기사가 애초에 어느 입도의 주장을 하고 있는지를 특정할 수 없다는 구조적인 결함을 짚어낸 것일지도 모른다.

그렇게 보면, "SKIP"은 단순한 저평가 라벨이 아니라, "Yes/No형 헤드라인에 답을 담으려다 입도를 뭉개버리고 있다"라는 진단 그 자체였던 것으로 보인다.

여기서 도달한 우회로는 AI의 지능 논쟁에만 국한된 이야기가 아닐지도 모른다. 정의가 정해지지 않은 단어 그대로 Yes/No 식의 결론을 서두르고 싶어지는 질문은 다른 분야에도 얼마든지 있다. 다음에 "AI는 진정한 지능을 갖는가"와 같은 헤드라인을—혹은 같은 구조를 가진 다른 헤드라인을—마주했을 때, 찬성파와 반대파 중 어느 쪽의 발언을 수집할지가 아니라, 그 주장이 실제로는 어느 입도의, 어느 논점에 대해 이야기하고 있는지를 확인해 보고 싶다. 세계 모델의 이야기인지, 샘플 효율성 (Sample Efficiency)의 이야기인지, 아니면 단순히 "인상이 좋은가 아닌가"의 이야기로 바뀌어 버린 것인지. 그 구별만 할 수 있다면, 그 주장이 실제로는 무엇을 말하고 있는지가 적어도 보이지 않을까.