"AI의 진짜 주인공은 GPU가 아니라 메모리다."

<HBM의 아버지 김정호>

HBM 개발을 이끌어 아버지로 불리는 김정호 교수가 흥미로운 주장을 내놨다. 지금까지 AI 하면 다들 엔비디아 GPU만 떠올렸는데, 진짜 승부처는 메모리로 넘어가고 있다는 것이다.

"GPU가 실제로 일하는 시간은 10%뿐"

핵심은 비싼 GPU가 실제 연산을 하는 시간은 전체의 10%밖에 안 된다. 나머지 90%는 뭘 하냐.. 메모리에서 데이터가 오기를 기다린다.

쉽게 비유하면.. 아무리 빠른 요리사 GPU가 있어도 재료인 데이터가 주방에 늦게 도착하면 요리사는 그냥 서서 기다릴 수밖에 없다. GPU는 충분히 빠른데, 메모리가 데이터를 제때 못 넘겨줘서 GPU가 놀고 있는 것.

때문에 김 교수의 결론은.. 앞으로 AI 성능을 좌우하는 건 "얼마나 빠른 GPU를 가졌느냐"가 아니라 "얼마나 빠르고 큰 메모리를 가졌느냐"다.

"앞으로 메모리 수요가 1,000배 늘어난다."

이 말이 왜 지금 중요하냐..? AI가 진화하는 방향 때문이다.

지금까지 AI는 질문에 답하는 챗봇 수준이었다. 그런데 앞으로는 스스로 여러 단계를 처리하는 에이전틱 AI, 그리고 로봇처럼 몸을 가진 Embodied AI로 넘어간다.

이 AI들은 훨씬 더 많은 데이터를 계속 기억하고 처리해야 한다. 김 교수는 이 흐름으로 메모리 수요가 지금보다 1,000배 늘어난다고 본다.

그리고 "추론이 늘면 메모리를 더 많이 먹는다"는 논리는.. AI가 똑똑해지고 널리 쓰일수록 메모리가 폭발적으로 필요해진다는 것이다.

"미래의 AI 칩은 100층짜리 3D 빌딩"

김 교수가 그리는 미래 칩 모습.

지금은 HBM이 주력이지만, 앞으로 HBF, HBS 같은 새로운 메모리가 차례로 등장한다. 그리고 궁극적으로는 이 메모리들을 위로 차곡차곡 쌓아 올린 100층짜리 고층 빌딩 형태의 칩이 된다는 것이다.

데이터를 옆에서 끌어오는 게 아니라 위아래로 바로 주고받아서 속도를 극대화하는 구조다.

그리고 GPU는? 이 빌딩의 맨 꼭대기로 올라간다.

이유는 열 때문이다. GPU가 가장 뜨거우니까 맨 위에 놓아서 열을 빼기 좋게 한다는 것. 지금까지 GPU가 주인공이고 메모리가 조연이었다면, 미래 칩에서는 메모리가 건물의 몸통이 되고 GPU는 그 위에 얹히는 구조로 뒤집힌다.

<뉴스 출처: 하나 중국/신흥국 전략 김경환 텔레그램>