AI의 주인공은 두 번 교체되었다 ── 기호주의와 커넥셔니즘의 70년

이 기사는,

가상의 대학인 「권봉(けんぽう) 공과대학교」의 연구실을 무대로 한 하나의 대화편입니다. 등장하는 인물은 AI의 역사에 흥미를 갖기 시작한

학부생과, AI·컴퓨터 과학의 역사에 해박한 젊은 전임 강사 두 명입니다. 인물이나 대학은 허구이지만, 다루는 내용(역사·기술·인물)은 모두 실재하는 사실에 기반하고 있습니다. 출처는 기사 끝에 정리하였습니다.

상정 독자는,

고등학교 수학은 많이 잊어버렸지만, 매일 Python 코드를 읽고 쓰고 있는 엔지니어·데이터 사이언티스트·머신러닝 엔지니어·AI 리서처 여러분입니다. 어려운 용어는 처음 등장할 때 쉽게 풀어서 설명하겠습니다.

• 평소
  Python·JavaScript·Go·Rust 등으로 구현하며, LLM이나 AI 에이전트를 사용하고 있지만, 그 **배후의 「기술사적 맥락」**까지는 파악하지 못하고 있는 엔지니어

• 「
  기호주의 (Symbolic AI)」, 「커넥셔니즘 (Connectionism)」, 「논리 프로그래밍 (Logical Programming)」, 「함수형 (Functional)」이라는 말을 들어본 적은 있지만, 서로의 관계를 명확히 파악하지 못하고 있는 분

• QNLP나 논리 프로그래밍 기사를 읽고, 「
  통계파와 구조파는 결국 어떤 관계인가」를 하나의 역사로서 이해하고 싶은 분

• 최근 Python이나 Rust에서
  함수형 작성 방식이 늘어나고 있음을 느끼며, 그것이 무엇을 의미하는지 알고 싶은 분

지금은 LLM 일색인 시대처럼 보입니다.

하지만 AI의 역사를 알면, **「압도적인 주인공은 지금까지 두 번이나 교체되어 왔다」**는 사실이 보입니다.

지금, 함수형 프로그래밍이 모던 언어에 조용히 침투하고 있습니다.

나아가, AI 에이전트나 QNLP (양자 자연어 처리: 영어 나 일본어 문장이 가진 문장 구성 방식(문법 구조)을 그대로 계산 설계도로 사용하여 양자 컴퓨터로 구동하는 기법)가 「구조」를 불러오고 있습니다.

이러한 움직임은 다음과 같이 파악할 수도 있습니다.

── 딥러닝 (Deep Learning) 기반의 LLM이나 AI 에이전트 (커넥셔니즘의 계보)가 전성인 지금, 그 발치에서 함수형 프로그래밍이나 「구조·기호」에 주목하는 접근법 (기호주의와 맞닿아 있는 “구조” 측의 계보)이 형태를 바꾸어 다시 일어서고 있다.

본 기사는 이 대비를 70년의 역사 위에 다시 놓아보려 합니다.

이 기사를 통해 얻을 수 있는 것

• 기호주의 ⇄ 커넥셔니즘의 주인공 교체 역사를 연도·인물·사건과 함께 하나의 이야기로 이해할 수 있음
• 그 역사에 프로그래밍 언어 패러다임 (절차형·논리형·함수형)의 변천을 겹쳐 보며, 「AI의 사고방식」과 「언어의 설계 사상」이 어떻게 연동되어 왔는지 알 수 있음
• 논리 프로그래밍·함수형 프로그래밍의 기초를 Python만 알아도 파악할 수 있음
• Haskell에서 유래한 함수형 스타일이 Python·JavaScript·Rust·Scala에 도입되는 흐름이 역사적으로 무엇을 의미하는지 평가할 수 있음
• 이를 바탕으로 한 「통계와 구조의 합류」라는 미래 전망의 조감도를 얻을 수 있음

AI의 역사는 「두 가지 사고방식」이 주인공의 자리를 다투어 온 역사입니다.

• 기호주의 (Symbolic AI): 인간이 규칙이나 논리를 작성하여 기계가 추론하게 함. 「if-then 규칙」, 「논리」, 「문법」, 「구조」가 주인공.
• 커넥셔니즘 (Connectionism): 대량의 데이터로부터 기계가 스스로 학습함. 「뉴럴 네트워크 (Neural Network)」, 「통계」, 「가중치 (Weight)」가 주인공. 현재의 Transformer·LLM은 이쪽임.

이 두 가지는 마치 **추 (Pendulum)**처럼 수십 년 주기로 주인공이 교체되어 왔습니다.

• 1950~60년대: 기호주의와 커넥셔니즘이 경합. 점차 기호주의가 우세해짐.

• 1969년: 민스키(Minsky) 등의 『퍼셉트론 (Perceptron)』이 뉴럴 네트워크의 한계를 지적 $
  ightarrow$ 제1차 AI의 겨울, 기호주의의 황금시대 (전문가 시스템)로 진입.

• 1980년대 후반~: 전문가 시스템이 한계에 봉착 $
  ightarrow$ 제2차 AI의 겨울.

• 2012년: 딥러닝이 이미지 인식에서 압승 (AlexNet) $
  ightarrow$ 커넥셔니즘의 대역전.

• 2017년~: Transformer의 등장 $\rightarrow$ LLM의 시대로. 나아가 2022년 ChatGPT 공개로 일반 사회에도 폭발적으로 보급. 지금은 커넥셔니즘 (Connectionism)이 압도적인 주역입니다.

그리고 지금, 흥미로운 일이 일어나고 있습니다.

추가(Pendulum)가 다시 조금씩 되돌아오기 시작한 것입니다.

AI 에이전트 · LLM + 도구: 통계적인 LLM에, 기호적인 "도구(계산기 · 코드 실행 · 제약 조건 솔버 · 검색)"를 갖추게 하는 움직임.

QNLP (양자 자연어 처리, Quantum Natural Language Processing): 문법 구조 그 자체를 계산의 설계도로 만드는, 기호주의 · 구조주의의 혈통을 잇는 접근 방식.

• 이것들은,
  "통계 (커넥셔니즘)"와 "구조 (기호주의)"를 다시 한번 결합하려는 흐름 ── **뉴로심볼릭 (Neuro-symbolic)**이라고도 불립니다.

이 기사의 주장: AI의 역사는 "어느 쪽이 이기는가"가 아니라, **"두 명의 주역이 번갈아 가며 빛을 받으며 조금씩 합류해 가는 이야기"**로 읽는 것이 가장 정확합니다. 그리고 QNLP도, LLM도, AI 에이전트도, 그 거대한 이야기 속에 위치합니다.

참고로, 이 기사는 자매편으로 작성한 두 편 ── "논리 프로그래밍은 끝나지 않았다 ── 제5세대 컴퓨터에서 LLM / AI Agent / MCP Solver까지"와 ""고양이가 물고기를 먹는다"를 양자 회로로 변환하기 (QNLP 입문)" ── 의, 딱 "역사의 조감도"에 해당하는 회차입니다. 함께 읽으면 점과 점이 선으로 이어집니다.

학부생:

교수님. 최근 QNLP 관련 기사나, 제5세대 컴퓨터 관련 기사를 읽다가 한 가지 큰 의문이 생겼습니다.

Transformer나 LLM 같은 "통계로 팍팍 배우는 AI"

와

QNLP나 논리 프로그래밍 같은 "구조 · 규칙으로 딱딱 맞게 조립하는 AI"

── 이 둘은 도대체 어떤 관계인가요? 사이가 나쁜 건가요? 아니면 어느 한쪽이 맞는 건가요?

강사:

훌륭한 질문이다. 그 질문에 답하려면 AI의 역사 그 자체를 보는 것이 가장 좋다.

사실 말이야,

그 둘 ── "통계로 배우는" 파와 "구조로 조립하는" 파는, AI 연구의 초기부터 계속 주역의 자리를 다투어 왔단다. 70년 정도의 시간 동안, 주역이 적어도 두 번은 완전히 바뀌었지.

학부생:

두 번이나요! 지금은 어느 쪽이 주역인가요?

강사:

지금은 압도적으로 "통계로 배우는" 파 ── Transformer나 LLM의 시대다. 하지만 불과 15년 전까지만 해도 그렇지 않았어. 그리고 ── 여기가 흥미로운 부분인데 ── 그 추(Pendulum)가 지금 다시 조금씩 역방향으로 되돌아오기 시작했다는 기색이 있어. QNLP도, AI 에이전트도, 그 "회귀"의 일부로 보면 의미가 훨씬 명확해진단다.

학부생:

**추(Pendulum)**라니……. 그럼 그 추의 역사를 처음부터 알려주세요.

강사:

좋고말고. 우선 그 **두 "파벌"**에 제대로 이름을 붙이는 것부터 시작하자.

강사:

먼저 "기호주의 (Symbolic AI)".

이것은 인간이 지식이나 규칙을 기호 (언어나 논리식)로 작성하여 기계가 추론하게 한다는 사고방식이다.

예를 들어, "새는 난다", "펭귄은 새다", "하지만 펭귄은 날지 못한다"

── 이런 지식을 하나씩 if-then 규칙으로 써 내려가는 거지.

기계는 그 규칙에 따라 논리적으로 추론한다.

Prolog라는 언어나 전문가 시스템 (Expert System)이 그 대표란다.

학부생:

인간이 규칙을 직접 쓰는 것. 확실히 가장 솔직한 방법처럼 보이네요.

강사:

그래, 처음에는 이쪽이 "당연한 것"이었지.

컴퓨터는 논리 기계니까 논리로 생각하게 하는 것이 자연스럽다고 생각했거든.

다른 한쪽은 "커넥셔니즘 (Connectionism)".

이쪽은 뇌의 신경세포 (뉴런) 연결을 모방한 구조를 만들어, 대량의 데이터로부터 기계가 스스로 패턴을 배우게 한다는 사고방식이다. **뉴럴 네트워크 (Neural Network)**가 그 본체지.

인간은 규칙을 쓰지 않는다. 데이터를 주고 네트워크 안의 "가중치 (Weight)"를 조정하게 할 뿐이다.

학부생:

아, 그거 지금의 머신러닝 (Machine Learning) 그 자체 아닌가요?

model.fit(X, y)

의 세계 말이에요.

강사:

정확해. 지금 네가 매일 접하고 있는 것은 커넥셔니즘 (Connectionism)의 후손이란다.

하지만 말이야 ── 이 커넥셔니즘은 역사 속에서 두 번이나 "이미 죽었다"라는 말을 들었고, 두 번이나 부활했어. 불사조 같은 분야지.

학부생:

두 번이나 죽고, 두 번이나 부활이라니…; 드라마틱하네요.

강사:

그야말로 드라마지. 그 제1막은 1950년대에 시작된다.

강사:

1957년, 심리학자인 **프랭크 로젠블랫 (Frank Rosenblatt)**이 "퍼셉트론 (perceptron)"이라는 것을 만들었어.

이것은 **데이터로부터 학습할 수 있는, 세계 최초의 인공 신경망 (Artificial Neural Network)**이야.

틀릴 때마다 자신 안의 연결 강도(가중치)를 스스로 조정하지.

학부생:

1957년이라니! 그렇게 옛날에 벌써 "학습하는 AI"가 있었나요?

강사:

있었단다. 게다가 아주 큰 화제였지. 당시 뉴욕 타임즈는 "언젠가 걷고, 말하고, 보고, 쓰고, 스스로를 재생산하며, 자신의 존재를 의식하게 될 것이다"라고까지 썼을 정도야. 엄청난 기대였지.

학부생:

완전히 지금의 AGI 붐 때의 선동 방식과 똑같네요…;

강사:

역사는 반복되는 법이지. ── 다만, 여기서 중요한 점을 덧붙여두고 싶구나. 이 시기에 빛나고 있었던 것은 퍼셉트론뿐만이 아니었어. 오히려 기호주의 (Symbolism) 측도 거의 동시에 큰 성과를 거두고 있었단다.

뉴웰(Newell)과 사이먼(Simon)의 "Logic Theorist" (1956년)는 수학적 정리를 기계가 증명하도록 해냈지.

이어지는 "General Problem Solver (GPS)" (1957년), 조금 더 후대의 "SHRDLU" (1970년, 쌓기 놀이 블록의 세계를 언어로 조종함) ── 이 모두가 "인간이 규칙이나 논리를 작성하여 기계가 추론하게 만드는" 기호주의의 찬란한 초기작들이야.

애초에 "AI"라는 용어가 탄생한 1956년 다트머스 회의 (Dartmouth Workshop) 자체도 발상의 중심은 기호주의였어.

학부생:

그럼 처음부터 "데이터로부터 배우는" 파와 "규칙으로 구축하는" 파가 나란히 경쟁하고 있었던 거네요!

강사:

그렇단다.

1950~60년대는 양측이 치열하게 경쟁하던 시기였지.

그리고 ── 여기서부터가 역사의 아이러니인데 ── 그 경쟁에 일단 결판을 내러 온 것이 기호주의 측의 거물이었어. 바로 **마빈 민스키 (Marvin Minsky)**다. 1969년, 그는 동료인 시모어 페퍼트 (Seymour Papert)와 함께 『퍼셉트론즈 (Perceptrons)』라는 책을 출간해.

이 책은 단층 퍼셉트론 (가장 단순한 신경망)에는 원리적인 한계가 있음을 수학적으로 증명해 보였지. 유명한 것이 바로 "XOR 문제"야.

학부생:

XOR ── 배타적 논리합. "둘 중 하나만 참일 때 참"이 되는 것. 프로그래밍에서 자주 쓰는 거잖아요.

강사:

맞아. 그런데 단층 퍼셉트론은 이 단순한 XOR조차 학습할 수 없다는 사실이 밝혀지고 말았어. 이게 결정타였지. 게다가 민스키 일행은 "층을 늘려도 아마 안 될 것이다"라고 추측했단다 (※ 이것은 나중에 틀렸다는 것이 밝혀지지만, 당시에는 그렇게 받아들여졌어).

학부생:

권위 있는 기호주의의 거물이 "신경망에는 한계가 있다"라고 수학적으로 보여준 거군요…;

강사:

결국, 신경망 연구에 대한 자금이 단칼에 끊겨버렸어.

많은 연구자가 분야를 떠났지. 로젠블랫 자신도 1971년에 젊은 나이에 세상을 떠났고. 이렇게 찾아온 것이 바로 **제1차 "AI의 겨울 (AI winter)"**이야. 커넥셔니즘의 첫 번째 죽음이지.

학부생:

단 한 권의 책으로 분야 전체가 겨울이 되어버리다니…; 무섭네요.

강사:

다만 공정하게 말하자면, 당시의 신경망은 정말 소규모였고 실제로 잘 풀리지 않았던 면도 있어. 그 책이 "최후의 일격"이긴 했지만, 원인의 전부는 아니란다.

어쨌든, 여기서부터 기호주의의 황금기가 시작돼.

강사:

1970~80년대, 기호주의는 "전문가 시스템 (Expert System)"으로서 크게 꽃을 피운다.

이것은 어떤 분야 전문가의 지식을 전부 if-then 규칙으로 만들어 집어넣고, 전문가를 대신해 판단하게 하는 시스템이야.

학부생:

전문가를 규칙의 집합체로 재현하는 거야.

강사:

맞아. 실례가 아주 많지.

의료 진단 분야의 MYCIN,

화학 구조를 추정하는 DENDRAL,

컴퓨터 구성을 자동 설계하는 XCON (별칭 R1)

── XCON은 DEC라는 회사에서 연간 2,500만 달러 규모(초기에는 최대 4,000만 달러라고도 함)를 절약한 상업적 대성공 사례야.

광상을 찾는 PROSPECTOR는 워싱턴주에서 미지의 몰리브덴 광상을 발견했지 (그 규모는 일설에 따르면 약 1억 달러에 달한다고도 해).

학부생:

제대로 돈을 벌어다 주었군요. 그럼 왜 쇠퇴했나요?

강사:

**"지식 획득의 병목 현상 (Knowledge Acquisition Bottleneck)"**이라는 근본적인 벽에 부딪혔거든.

전문가의 지식을 인간이 하나하나 수작업으로 규칙화하여 입력해야만 했어.

이게 정말 엄청나게 힘든 일이었지.

학부생:

아......

전문가의 "암묵지 (Tacit Knowledge)"라는 건, 본인조차 말로 잘 설명하지 못하는 경우가 많잖아요.

"왠지 모르게 안다"는 것을 전부 규칙으로 써 내려간다니.

강사:

정확해.

게다가 규칙이 늘어나면 규칙끼리 모순이 생기거나, 예외의 예외가 나타나면서 유지보수가 불가능해져.

"세상의 모든 것을 규칙으로 다 써 내려가는 것"은 불가능했던 거야.

이렇게 1980년대 후반, 전문가 시스템은 막다른 길에 다다랐고, 제2차 AI의 겨울이 찾아와.

학부생:

이번에는 기호주의 (Symbolism) 쪽이 겨울이 되었군요......

정말 시계추 같네요.

강사:

그래.

그리고 이 "겨울" 동안, 커넥셔니즘 (Connectionism)이 조용히 부활을 준비하고 있었어.

강사:

커넥셔니즘을 겨울에서 구해낸 것은 "역전파 (Backpropagation, 오차 역전파법)"라는 학습 알고리즘이야.

1986년, **데이비드 루멜하트 (David Rumelhart), 제프리 힌튼 (Geoffrey Hinton), 로널드 윌리엄스 (Ronald Williams)**가 Nature지에 발표한 논문을 통해 널리 알려지게 되었지.

학부생:

어라, 잠깐만요. 전문가 시스템의 제2차 겨울은 1980년대 후반이었죠? 역전파의 1986년과 거의 같은 시기 아닌가요?

강사:

날카롭네. 사실 거의 겹쳐 있어.

장(Chapter)을 나누어 순서대로 이야기하다 보니 전후 관계로 보이지만, 시간축으로는 병행하고 있어.

즉 ── 기호주의 (전문가 시스템)가 "겨울"을 향해 속도를 잃어가는 것과 거의 동시에, 커넥셔니즘 측에서는 부활의 씨앗 (역전파)이 싹을 틔우고 있었던 거야.

그래서 1986년은 "기호주의의 겨울 한복판에서, 다음 주인공이 조용히 준비를 시작한 해"라고 읽는 것이 정확해.

학부생:

그렇군요. "겨울이 끝나고 다음이 시작되는 것"이 아니라, "겨울 동안에 이미 다음 싹이 나오고 있었던 것"이네요.

강사:

바로 그거야.

참고로, 이 루멜하트 일행이 퍼뜨리기 전에도 같은 아이디어가 몇 차례 독립적으로 발견된 적이 있어 (Linnainmaa 1970년, Werbos 1974년 등).

다만, 다층 네트워크 (Multi-layer Network)에서 실제로 효과가 나타난다는 사실을 보여주며 분야 전체에 불을 지핀 것이 바로 이 1986년의 논문이었지.

학부생:

힌튼! 지금의 "딥러닝의 아버지" 말씀이시죠!

2024년에 노벨상을 받으셨잖아요.

강사:

그래, 바로 그 사람이야.

**역전파 (Backpropagation)**가 한 일은 말이지

── 층을 여러 겹 쌓은 "다층" 신경망을 제대로 학습시키는 방법을 제시한 거야.

네트워크의 정답과의 "오차 (Error)"를 출력 측에서 입력 측으로 거꾸로 거슬러 올라가며, 어떤 연결을 어떻게 수정해야 하는지를 계산하는 거지.

학부생:

아, 그거 지금의 loss.backward()네요. PyTorch에서 매일 호출하는 그거.

강사:

정확히 그것의 조상이야. 여기가 역사의 묘미인데 ── 민스키 (Minsky) 등이 "단층으로는 XOR도 풀 수 없다"라고 말하며 겨울을 불러왔었지?

역전파는 층을 쌓으면 그 한계를 넘을 수 있다는 것을 실제로 보여주었어. 즉, 『퍼셉트론즈 (Perceptrons)』의 비판을 다층 네트워크가 극복해낸 거야.

학부생:

겨울의 원인이 되었던 "한계"를 정면으로 돌파했군요. 정말 통쾌한 역습이네요!

강사:

참고로, 이 1980년대의 부활 시기에 「뉴럴 네트워크 (Neural Network)」라는 말은 평판이 좀 좋지 않았어. 그래서 「커넥셔니즘 (Connectionism)」이라는 새로운 이름으로 리브랜딩(Rebranding)되었다는 재미있는 경위도 있단다.

학부생:

왜 평판이 나빴나요?

강사:

아까 말한 『퍼셉트론즈 (Perceptrons)』를 떠올려줬으면 좋겠어.

그 책 이후로, 「뉴럴 네트워크 (Neural Network)」라는 말에는 「민스키 (Minsky)에 의해 한계가 증명되어, 겨울을 불러온 분야」라는 낙인이 딱 붙어 있었거든.

연구비를 신청할 때도, 이름 그대로라면 "아, 그 오래된, 잘 안 됐던 그거네"라며 문전박대당할 수도 있었지. 그래서 같은 내용이라도 과거의 이미지로부터 분리하기 위해, 다른 간판을 내건 거야.

학부생:

내용은 같은데, 이름을 바꿔서 "다시 시작한" 거군요.

학부생:

그럼 여기서 단숨에 **커넥셔니즘 (Connectionism)**이 주인공으로 돌아온 건가요?

강사:

그게, 아직 아니야. 백프로파게이션 (Backpropagation)이 가능해졌어도, 당시에는 아직 ── 데이터가 부족하고, 컴퓨터가 느렸어. 그래서 좀처럼 다른 기법들을 이기지 못했지.

진정한 대역전은, 여기서부터 다시 4분의 1세기(25년)를 더 기다려야 해.

학부생:

그렇게나 많이요…; 무엇이 부족했던 건가요?

강사:

"데이터"와 "계산력"이야.

이 두 가지가, 2000년대에 세계적인 차원에서 갖춰지기 시작해.

인터넷이 대량의 데이터를 만들어내고, GPU가 대량의 계산을 가능하게 했지.

배우는 모두 갖춰졌어. 남은 건 그것을 증명할 단 한 번의 사건을 기다리는 것뿐이었지.

강사:

2012년. 이것이 AI사의 결정적인 전환점이다.

ImageNet이라는 이미지 인식의 큰 콘테스트가 있었는데, 거기에 힌튼 (Hinton)과 그의 제자인 **일리야 수츠케버 (Ilya Sutskever), 알렉스 크리제프스키 (Alex Krizhevsky)**가 「AlexNet」이라는 깊은 뉴럴 네트워크 (Deep Neural Network)로 참가했어.

학부생:

결과는요?

강사:

압승이야.

기존의 기법들을 압도적인 차이로 따돌렸지.

컴퓨터 비전 (Computer Vision) 세계에 충격이 달렸어.

이 순간, 커넥셔니즘 (Connectionism)이 마침내 대역전으로 주인공의 자리를 되찾은 거야.

학부생:

무엇이 이전과 달랐던 건가요? 알고리즘은 1986년부터 있었는데.

강사:

좋은 질문이야.

ImageNet을 만든 페이페이 리 (Fei-Fei Li)는 이렇게 말했지.

── **「현대 AI의 세 가지 요소가 처음으로 동시에 갖춰진 순간이었다」**라고.

(1) 뉴럴 네트워크 (Neural Network) (백프로파게이션 (Backpropagation))

(2) 대량의 데이터 (ImageNet)

(3) GPU에 의한 계산력

이 세 가지야.

학부생:

앗. 그거, 제5세대 컴퓨터가 부족했던 것과 딱 똑같네요!

데이터와 계산력.

강사:

잘 알아챘어, 바로 그거야.

**기호주의 (Symbolism)의 전문가 시스템 (Expert System)**도, 커넥셔니즘 (Connectionism)의 초기도, 「데이터」와 「계산력」이 부족해서 겨울을 맞이했어.

2012년은 그 두 가지가 마침내 갖춰졌고, 뉴럴 네트워크 (Neural Network)라는 접근 방식이 그것을 최대한 활용할 수 있는 형태였기에 ── 그래서 이긴 거야.

알고리즘의 승리라기보다, **「조건이 갖춰졌을 때 가장 크게 성장하는 것이 뉴럴 네트워크 (Neural Network)였다」**는 거지.

학부생:

어라, 그런데…; 그 두 가지가 갖춰졌는데 왜 기호주의 (Symbolism)의 전문가 시스템 (Expert System) 쪽은 부활하지 못한 건가요?

역시 전문가가 가진 지식을 ── 암묵지 (Tacit Knowledge) 부분까지 포함해서 ── 프로그래머가 인터뷰해서 일일이 코드로 옮겨야 하는, 그 수고로움이 병목 현상 (Bottleneck)이었나요?

강사:

절반은 정확히 맞아. 하지만 나머지 절반이 중요해 ── 애초에 두 방식은 「겨울이 온 이유」가 다르거든.

**커넥셔니즘 (Connectionism)**이 정체되었던 이유는 「데이터」와 「계산력」의 부족이었어.

그래서 그 두 가지가 2012년에 갖춰진 순간, 빠져 있던 조각이 그대로 채워지며 단숨에 개화했지.

반면 **기호주의 (Symbolism)**의 병목 현상은 「지식을 수작업으로 규칙(Rule)화하여 써 내려가는」 수고로움 그 자체야.

이것은 데이터가 늘어나도, GPU가 빨라져도 거의 해소되지 않아.

오히려 ── 여기가 아이러니한 부분인데 ── 늘어난 대량의 데이터로부터 지식을 "자동으로" 뽑아낼 수 있는 것은, 규칙을 사람이 쓸 필요가 없는 뉴럴 네트워크 (Neural Network) 쪽이었던 거야.

학부생:

앗……. 같은 "데이터와 계산력"이라도, **커넥셔니즘 (Connectionism)에게는 "부족했던 연료"였고, 기호주의 (Symbolism)에게는 "약점을 메워주지 못하는 것"**이었군요.

강사:

그렇다.

그래서 2012년은, 우연히 조건이 "뉴럴 네트워크 (Neural Network)의 결점만을" 핀포인트로 메웠던 거야.

기호주의의 약점은 다른 곳에 그대로 남은 채였지.

학부생:

그렇군요. 같은 "겨울의 원인"이 이번에는 "승리의 원인"으로 바뀌었네요.

강사:

그렇다.

여기서부터 **커넥셔니즘 (Connectionism)**은 노도와 같은 쾌진격을 시작한다.

이미지, 음성, 그리고 ── 언어로.

그 언어에서 결정적인 발명이 일어난다. 2017년이다.

강사:

2017년, Google의 연구자들이 "Attention Is All You Need"라는 논문을 발표했다. 여기서 제안된 것이 바로 "Transformer"라는 아키텍처(Architecture)다.

학부생:

나왔다, Transformer. 지금 LLM의 토대군요.

강사:

그래. Transformer의 핵심은 "어텐션 (Attention, 주의 기구)"이다.

문장 속에서 **어떤 단어가 어떤 단어에 "효과를 미치고 있는지"**를, 대량의 데이터로부터 통계적으로 가중치를 두어 학습한다.

문법을 인간이 가르치는 것이 아니라 ── 데이터로부터 암묵적으로 배워 나가는 것이지.

학부생:

완전히 **커넥셔니즘 (Connectionism)**의 발상이네요.

규칙을 쓰는 것이 아니라, 데이터로부터.

강사:

정확하다.

그리고 이 Transformer를 엄청난 양의 텍스트와 엄청난 수의 파라미터 (Parameter)로 훈련시킨 것이

── **대규모 언어 모델 (LLM, Large Language Model)**이다.

GPT, Claude, Gemini, Perplexity. 지금 네가 매일 사용하고 있는 것들이지.

학부생:

아, 그런데 ── Transformer 논문은 2017년이죠?

전 세계가 떠들썩했던 건 그보다 훨씬 뒤였던 것 같은데요.

강사:

날카로운 지적이구나.

"Transformer의 발명 (2017)"과 "세계가 충격을 받은 순간"은 별개의 것이란다.

그 사이를 잇는 계단이 있어.

먼저 GPT-3 (2020년, 1750억 파라미터)를 통해, "어쨌든 거대하게 만들어서 대량으로 학습시키면 놀라울 정도로 말을 잘하게 된다"는 사실이 밝혀졌다.

그다음 InstructGPT (2022년)에서, 인간의 피드백으로 모델을 미세 조정하는 (RLHF, Reinforcement Learning from Human Feedback) 마무리 단계가 더해지며 "인간의 지시를 제대로 따르게" 되었다.

그리고 그것을 누구나 대화 형식으로 접할 수 있게 만든 것이 ── **ChatGPT (2022년 11월)**다.

세계가 단번에 "AI가 왔다"고 느낀 것은 논문이 나온 2017년이 아니라, 바로 이 2022년 말이었지.

학부생:

토대(2017)와 사회적 폭발(2022) 사이에 5년의 격차가 있군요.

한눈에 보는 요약: Transformer에서 ChatGPT까지

2017 Transformer 등장 (논문 "Attention Is All You Need")
2020 GPT-3 ── "거대화 + 대량 학습"으로 언어 능력이 단번에 향상
2022 InstructGPT / RLHF ── 인간의 피드백으로 "지시를 따르도록" 개선
2022년 11월 ChatGPT 공개 ── 일반 사회에 폭발적으로 보급

"발명"과 "사회적 임팩트"는 5년의 차이가 있다.

강사:

그래. 그래서 "Transformer = ChatGPT"라고 단숨에 생각하면, 그 5년 동안의 꾸준한 축적(Scale, RLHF)을 놓치게 된다.

그 점을 짚어두면 좋아. ── 어쨌든, 이렇게 해서 완전히 커넥셔니즘 (Connectionism)의 천하가 되었다.

학부생:

여기서 **기호주의 (Symbolism)**는 완전히 조연으로 밀려났네요.

강사:

그렇게 보이지. 지금은 커넥셔니즘 (Connectionism, 통계로 배우는 파벌)이 압도적인 주인공이다.

── 하지만 말이다. 여기서 역사를 떠올려 보길 바란다.

"압도적인 주인공"은 지금까지 두 번 모두, 어느샌가 교체되어 왔단다.

학부생:

……설마, 다시 **추 (Pendulum)**가 움직이는 건가요?

강사:

단언하지는 않겠다.

하지만, 추가 다시 조금씩 되돌아가고 있다는 징조는 분명히 존재한다.

게다가 이번에는, 이전의 두 번과는 조금 다르단다.

── **「어느 한쪽이 이기는」 것이 아니라, 「양쪽이 손을 잡기 시작하고 있다」**는 것이다.

그 점이, 지금 시대에서 가장 흥미로운 부분이다.

학부생:

……그 말은, 기호주의 (Symbolism)의 병목 현상(Bottleneck)이었던 「전문가의 지식을 프로그래머가 듣고 수동으로 코드로 옮기는」 그 수고로움이, 이번에는 해소되고 있다는 뜻인가요?

강사:

절반은 '예스(Yes)'라고 할 수 있겠네.

LLM은 대량의 텍스트로부터 전문 지식을 암묵적으로 흡수하고 있다.

그러니 예전처럼 전문가에게 일문일답식으로 인터뷰하여 if-then 문을 한 줄씩 써 내려가던

── 그 공정은 확실히 대폭 불필요해졌다.

기호주의가 수십 년간 고통받았던 '지식 획득의 병목 현상 (Knowledge Acquisition Bottleneck)'을, 커넥셔니즘 (Connectionism)이 옆에서 우회하여 해결해 버렸다고도 말할 수 있지.

학부생:

그럼, 이제 기호주의의 패배 아닌가요?

강사:

그렇게 생각하겠지?

하지만 여기서 병목 현상이 “이동한” 것이다.

확실히 「지식을 써 내려가는 수고로움」은 사라졌다.

하지만 말이야, 그 대신에 **「그 지식이 옳은지, 논리적 근거가 타당한지를 보증하는 수고로움」**이 새로운 벽으로 남았다.

LLM은 그럴싸하게 틀리기도 하고, 왜 그런 답을 내놓았는지 보여주지도 않으니까.

학부생:

아……! 그래서 그 부분을 구조(논리·규칙·검증)로 다시 조이려는 움직임이 나타나는 거군요.

그것이 바로 '회귀(揺り戻し, Backlash)'인 거네요.

강사:

그렇다. 수고로움이 사라진 것이 아니라, 형태를 바꾼 것이다.