엔비디아 GPU를 100만 대 깔아도, 실제로 일하는 시간은 10%뿐이다.

엔비디아 GPU를 100만 대 깔아도, 실제로 일하는 시간은 10%뿐이다.

'HBM의 아버지'로 불리는 카이스트 김정호 교수가 최근 인터뷰에서 한 말이다. 나머지 90%는 메모리에서 데이터가 오기를 기다리며 그냥 놀고 있다는 것이다.

이유는 단순하다. AI가 답을 한 단어씩 쏟아낼 때마다 데이터를 HBM에서 읽고 다시 써야 하는데, 그 읽고 쓰는 시간이 거의 전부를 잡아먹는다. 알고리즘을 아무리 손봐도 GPU는 30% 넘게 일하기 어렵다. 그래서 김 교수는 'AI 능력은 결국 메모리가 결정한다', AI는 곧 메모리라고 못 박는다.

판이 바뀌는 신호도 뚜렷하다. 학습에서 추론 시대로 넘어오며 메모리 수요가 폭발했고, HBM4부터는 표준품이 아니라 고객별 맞춤형으로 물량을 미리 약속받고 만든다. 사는 쪽이 아니라 파는 쪽이 가격을 정하는, 갑을이 뒤집힌 시장이다. 삼성전자와 SK하이닉스 합산 영업이익 500조~600조 전망이 허황된 숫자가 아닌 이유다.

젠슨 황이 한국을 들락거리며 안절부절못하는 건 그가 누구보다 잘 알기 때문이다. GPU의 성장은 멈췄고, AI 컴퓨터의 다음 진화는 메모리가 쥐고 있다.