ChatGPT의 뇌는 3조 개의 인공 뉴런

「ChatGPT의 뇌는 3조 개의 인공 뉴런」—이 영상은 25만 회 이상 조회되었다.

하지만, 그 수치는 OpenAI가 공식적으로 인정했다고 할 수는 없다.

게시물은 층과 층이 빛의 선으로 연결되는 영상이다. ReLU라는 활성화 함수(activation function)의 라벨, 토큰 같은 숫자 배열, H1부터 H3까지의 은닉층(hidden layer)이 흐른다.

겉보기에는 'AI의 뇌' 그 자체처럼 보인다.

하지만 댓글에서는 벌써 의문을 제기하는 목소리가 나오고 있다.

「OpenAI는 파라미터 수를 공개하지 않았다. 숫자는 추정치」 「그것은 뉴런이 아니라 가중치(파라미터)다」 「다음 토큰을 예측하고 있을 뿐이다」

■기술의 흐름

대규모 언어 모델(LLM)이 해결하려는 과제는 간단하다.

방대한 글에서 '다음에 올 단어'를 가능한 한 정확하게 맞히는 것이다.

그 축적을 통해 질문에 대한 답변이나 문장 생성이 이루어진다.

원리를 대략적으로 말하면 다음과 같다.

입력된 문장은 토큰(단어나 그 조각)으로 분해된다.

각 토큰은 수치 벡터가 되어 여러 층의 '변환기'(transformer)를 거친다.

층 안에서는 어떤 단어가 어떤 단어와 관계가 깊은지를 계산하는 '주의 메커니즘'(attention mechanism)과, 정보를 비선형적으로 가공하는 피드 포워드 레이어(feed-forward layer)가 번갈아 작동한다.

영상에 나오는 ReLU는 그 가공 과정에서 자주 사용되는 함수 중 하나다. 음수 값을 0으로 만들고 신호를 깔끔하게 자르는 역할을 한다.

중요한 것은 규모를 측정하는 방식이다.

인간의 뇌는 약 860억 개의 뉴런과, 100조 개 규모의 시냅스(연결)를 가진 것으로 알려져 있다.

반면, 언어 모델의 크기는 '파라미터'로 이야기된다.

이것은 연결 강도를 결정하는 수치의 총개수이며, 뉴런의 수 그 자체는 아니다.

GPT-3는 공식적으로 1,750억 개의 파라미터였다.

GPT-4 이후부터는 OpenAI가 크기를 비공개로 하고 있으며, '총 파라미터 약 1.8조 개, 다만 추론 시 실제로 작동하는 것은 그 일부'라는 제3자 추정치가 오랫동안 돌고 있다.

'3조'는 그러한 추정치의 연장선상에 있는 숫자이며, 현재 ChatGPT의 공식 스펙은 아니다.

공개 정보가 제한적이므로 단정할 수는 없다.

지금 이 영상이 인기를 끄는 이유는 규모 이야기가 '뇌와의 비교'로 이어지기 쉽기 때문이다.

실제 경쟁은 총 파라미터를 단순히 늘리는 단계에서, 사용하지 않는 부분을 쉬게 하는 Mixture-of-Experts나, 추론 시 계산을 늘리는 방향으로 옮겨가고 있다.

■사람의 흐름

OpenAI는 2015년, 샘 알트만(Sam Altman) 등이 설립했다.

altman은 스탠퍼드 대학을 중퇴하고 Y Combinator의 사장을 역임한 인물이다.

초기 연구진에는 제프리 힌튼(Geoffrey Hinton)의 문하생인 일리아 사츠케버(Ilya Sutskever) 등, 대학/Google 계열의 심층 학습 인재들이 모였다.

'범용 인공지능을 인류 전체의 이익으로 만든다'는 명분으로 시작했으나, 나중에 영리 부문을 가진 구조로 전환되었다.

인재의 흐름은 연구실에서 기업으로, 그리고 기업 간의 스카이(引き抜き)로 가속화되고 있다.

영상 게시자 PabloTec_은 AI 관련 단편 정보를 스페인어로 발신하는 계정이며, 이번 영상 자체도 공식 데모라기보다는 범용적인 뉴럴 네트워크 시각화를 결합한 것으로 보인다.

'뇌'라는 은유가 기술의 내용보다 먼저 확산되는 구조가 여기에 있다.

■돈의 흐름

OpenAI는 2026년 3월, 1,220억 달러의 자금 조달을 완료했으며, 기업 가치는 약 8,520억 달러에 달했다.

출자에는 소프트뱅크(SoftBank), Amazon, NVIDIA, Microsoft, a16z 등이 이름을 올렸다.

이후 연간 매출액이 700억 달러 가까이 늘었다는 보도가 있었고, 새로 300억 달러 규모를 1.4조 달러 평가로 조달한다는 이야기가 나오고 있다.

altman은 IPO(기업공개)는 2026년 중에는 하지 않을 것이라고 말했다.

돈이 모이는 이유는 명확하다.

모델을 크게 할수록 성능이 향상된다는 스케일링 법칙(scaling law)이 일정 기간 동안 통했다.

그 계산에는 GPU가 대량으로 필요하다.

NVIDIA의 칩과 클라우드 대기업의 전력 및 데이터센터가 그대로 자본의 수용처가 되고 있다.

반면, 공식 파라미터가 비공개인 것은 경쟁과 비용 양측의 측면이 있다.

총 파라미터가 크더라도, 1 토큰당 작동시키는 양을 줄이면 요금과 속도를 모두 갖추기 쉽다.

따라서 '3조 개의 뇌'라는 표현은 자금 규모감을 전달하는 데는 편리하지만, 실제 계산 비용과는 괴리가 생기기 쉽다.

이런 종류의 영상은 정확성보다는 '뇌가 움직이고 있다'는 감각을 판매한다.

규모의 숫자는 추정치이며, 연결의 질과 어떤 계산을 언제 작동시킬지 설계하는 것이 현재 차이를 만들고 있다.

숫자에 놀라는 것은 괜찮다.

하지만 공식적으로 나오지 않은 수를 뇌의 뉴런 수와 나란히 이야기할 때는 한 발 물러서서 볼 가치가 있다.