구글 TPU에 삼성 2nm? 삼성 파운드리 본격 부활의 핵심은 칩렛, 메모리 인터페이스 | AI 칩이 쪼개지는 이유

Video: 구글 TPU에 삼성 2nm? 삼성 파운드리 본격 부활의 핵심은 칩렛, 메모리 인터페이스 | AI 칩이 쪼개지는 이유
Channel: 안될공학 - IT 테크 신기술
Duration: 19m 11s
Source: subtitle (auto, ko)
Transcript:
하지만 중요한 건 삼성의 경험 범위입니다. 우리도 이나노 공정이 있습니다라기보다 우리는 메모리와 로직 사이의 문제를 함께 볼 수 있습니다라는 이야기가 훨씬 더 설득력이 있는 카드가 될 수 있거든요. 그럼 그 메모리와 로직 사이 즉 통로 안에서는 대체 무슨 일이 벌어지길래 그럴까요? 네. 여러분 안녕하세요. 패치입니다. 삼성이 구글 TPU 생산을 맞는다. 최근 이런 보도가 많이 나오면서 여러분 좀 두근두근 설레셨을 것 같은데요. 사실 헤드라인은 설레라고 이렇게 기대감을 높이는 법이고요. 사실 관계는 좀 정확히 꼼꼼하게 따져 봐야 될 것 같습니다. 사실 삼성이 맡은 부분 아니죠. 맡을지도 모르는 그 가능성이 있는 부분은 TPU가 아니라 TPU의 한 조각입니다. 그리고 그 조각이 어디냐가 오늘 이야기의 핵심인데요. 저와 함께 한번 보시죠. 먼저 보도 내용을 좀 정확히 짚고 가야 될 것 같아요. 처음 보도를 한 거는 디인포메이션이었고 로이타 통신도 이거를 받아썼습니다. 구글도 삼성도 이거를 공식 확장을 한 건 아니고요.

양쪽 다 코멘트를 거부를 했어요. 그러니까 삼성이 수주를 했다가 아니고 이런 그림이 지금 그려지고 있다 정도로 듣는게 맞으실 것 같습니다. 더군다나 이건 삼성이 구글 TPU 전체를 만든다는 이야기는 아니고요. 보도에 따르면 구글의 차세대 TPU, 그러니까 코드명 아이스피시에서 메인 컴퓨터 다인는 여전히 TSMC가 맡을 가능성이 높은 거고요. 삼성은 그중에 메모리 인터페이스 컴포넌트를 2노 공정으로 생산하는 방안이 지금 거론이 되고 있는 건데요. 그러니까 구글이 TSMC 버리고 삼성으로 갔다는 과정이고요. 그렇다고 삼성은 일부만 맡으니까 이건 별거 아니다라고 하기에는 그건 너무 과소 평가입니다. 삼성이 거론된 위치가 메인 연산부는 아니지만 AI칩에서 점점 더 중요해지고 있는 메모리 연결부라는 점이 아주 중요한 포인트입니다. 네. 지금 보시는 건 세미 위키에서 IC 널리즈 자료를 인용한 삼성과 TSMC의 5노 공정을 비교를 한 건데요. 여기 NM이라고 표기된 부분을 보시면 모든 부분은 TSMC가 더 작죠.

특히이 트랜지스터 덴시티 여기 트랜지스터의 밀도라고 되어 있는 부분을 보면 TSMC가 삼성보다 훨씬 높은 걸 볼 수가 있죠. 이게 같은 5나노 공정인데도 이렇게 차이가 나는 거예요. PPA 그러니까 performance power 성능과 전력 면적 측면에서 파운드리 3사의 경쟁력을 비교를 해 보자면 같은 공정이라고 해도 TSMC가 타의 추종을 불러하는 수준입니다. 거기에 수율과 IP 생태계까지 더하게 되면 많은 팬리스 기업이 TSMC를 찾을 수밖에 없죠. TSMC를 선택하지 않으면 똑같은 설계에도 PPA 관점에서 좀 뒤쳐질 수 있기 때문이에요. 그럼 삼성이 거론된 메모리 인터페이스는 대체 모래 이렇게까지 이슈가 되는 걸까요? AI 칩에서 메인 컴퓨트. 그러니까 연산부는 예를 들어 보자면 슈퍼카요. 미친듯이 비싸고 미친듯이 빠르죠. 그런데 그 슈퍼카가 달릴 도로가 바로 메모리 인터페이스입니다. 여러분이 세상에서 가장 빠른 차를 샀다고 해 보세요. 그런데 집 앞에 도로가 1차선 도로예요. 그리고 그 1차선 도로에는 트랙터가 다니고 있습니다.

그러면 여러분의 수억짜리 슈퍼카가 하는 일은 뭘까요? 바로 그 트랙터를 졸졸 따라가기. 도로가 좁으면 마력은 그냥 그림의 떡일 뿐이에요. 그래서 이번 보도는 전체가 아니다. 이것도 중요하지만 그 일부가 다름 아닌 데이터가 이동을 할 때 핵심이 되는 부분 즉 메모리 인터페이스다. 이게 더 중요합니다. AI 칩에서 메모리 인터페이스는 주변부가 아니라 연산력을 실제 성능으로 바꿔 주는 관문에 가깝기 때문이죠. 여기에서 엔비디아 볼터 벡서를 보시면 지금 이야기와 연결되는 굉장히 중요한 숫자가 하나 나오는데요. 볼타는 여러분이 잘 아시는 A, H보다 앞서서 나온 엔비디아의 데이터 센터 GPU입니다. 그리고이 볼타 세대의 대표 칩이 바로 V. 정확히는 GV GPU인데요.이 GV의 다이 사이즈를 보시게 되면 815제곱m였습니다. 이게 왜 중요하냐면 반도체 노강 공정에서 장비가 회로를 한 번에 찍을 수 있는 최대 크기가 정해져 있거든요. 이거를 레티클 리밋이라고 하는데요. 아마 많이들 들어 보셨을 거예요. 반도체는 회로 패턴이 그려진 마스크에 빛을 통과시켜서 이제 웨이퍼에 그거를 찍는데 이게 뭐랑 비슷하냐면 OHP 필름 맛시죠?

그거를 프로젝터로 비추는 거랑 비슷해요. 그런데 이제 방향만 좀 반대인 거죠. OHP는 작은 필름을 크게 비춰서 보여 주는 거고 레티클은 큰 마스크를 작게 줄여서 웨이퍼에 찍는 거죠. 그러니까 그 마스크 한 장을 레티클이라고 부르고 마스크가 일정 크기보다 클 수는 없으니까 한 번에 찍히는 회로. 그러니까 그 칩 크기도 거기에서 이제 막히게 되는 거예요. 그래서 한 번에 찍어내는 그 칩의 최대 크기를 우리는 레티클 리밋 사이즈라고 하는 거죠. 그리고 그 한개가 약 858인데요. 그런데 V이 이미 815였다는 거는 엔비디아가 볼타 시절부터 단일 GPU 다위를 레티클의 그 한 개 근처까지 밀어 붙이고 있었다는 말입니다. 그러니까 브이백은 단순히 좀 큰 GPU 정도가 아니고 AI랑 HPC 성능을 이렇게 끌어 올리기 위해서 연상 코어, 텐서 코어, 캐시, HBM 인터페이스를 아주 최대한 꽉꽉 눌러서 집어넣은 사실상 초대형 단일다위 전략의 그 최정점에 가까운 제품이었습니다. 문제는 여기에서 칩 크기는 더 커지기가 어렵다는 거죠.

성능은 더 필요한데 그러라면 모델은 더 커지고 연산량도 늘어나고 메모리 대역보도 더 넓어져야겠죠. 그런데 단일 다이는 레티클 리밋이라는이 물리적인 경계에 가까워지고 있으니까 AI GPU는 이미 V백 시절부터 현재 만들 수 있는 가장 큰 크기의 칩 수준으로 만들고 있었던 거예요. 그 이후에 A, H100, 블랙웰에 이르기까지 전부 다 이거는 800제m 대입니다. 칩 사이즈를 더 키울 수가 없으니까 앞으로 성능을 더 빠르게 하려면 결국 공정을 미세화하는 수밖에 답이 없잖아요. 그런데 그 미세화가 또 점점 어려워지고 있는 거죠. 급기와 엔비디아는 블랙웰에 와서는 동일한 칩을 하나 더 붙이기도 합니다. 그렇지만 이렇게 동일한 칩을 만약 다 갖다 붙이기만 하면 훨씬 더 많은 신호선 연결이라든지 다양한 패키지 이슈가 또 발생을 할 수가 있기 때문에 그냥 동일한 칩을 갖다 붙인다기보다는 하나의 칩 안에서 기능별로이 칩을 이렇게 잘게 잘게 쪼갠 다음에 다시 붙이는 그런 침내 구조의 형식이 앞으로 더욱 각강을 받을 거라는게 업계와 학계의 시각인 거죠.

그럼 이렇게 쪼개을 때 뭐가 유리한지를 한번 살펴볼게요. 이거는 크게네 가지인데요. 첫 번째는 수율입니다. AI 가속기는 다이가 너무 커졌어요. 다위가 커질수록 웨이퍼 위에 결함 하나가 그 전체 칩을 망출 확률도 올라가게 되죠. 반도체에서 다위가 커진다는 건 단순히 칩 면적이 넓어진다는 뜻만은 아니에요. 다위가 커질수록 웨이퍼 한 장에서 뽑을 수 있는 칩는 줄어들고 그 대신에 결함 하나가 칩 전체에 영향을 줄 가능성은 또 커지게 되겠죠. 특히 AI 가속기처럼 이렇게 거대한 연산 블록이랑 대용량 S램, 넓은 HBM 인터페이스를 한 번에 넣으려면 다이는 점점 커질 수밖에 없습니다. 그런데 거대한 단일 다이 하나를 만들면 일부 영역에 문제가 생겼을 때 전체 칩을 버려야 될 가능성이 커지는 거예요. 반대로 기능을 여러 침넷으로 나누게 되면 각각을 따로 만들고 정상적인 애들만 골라서 이렇게 조립을 할 수가 있겠죠. 물론 침넷도 공짜는 아닙니다. 패키징 비용이 올라가고 또 다이끼리 연결을 해야 하는 것도 복잡해지고 검증도 어려워집니다.

그럼에도 불구하고 AI 칩이 커질수록 침내 구조가 매력적인 이유는 분명한데요. 거대한 칩을 하나로 찍는 리스크를 제조 가능한 단위로 나눌 수가 있기 때문입니다. 침넷은 성능을 올리는 기술이기도 하지만 더 근본적으로는 너무 커진 칩을 다시 만들 수 있는 형태로 되돌리는 기술인 거죠. 둘째는 공정 최적화인데요. 우리는 2노, 3난노 같은 아주 최신 공정에만 이렇게 눈이 가죠. 그런데 칩안의 모든 부분이 그 비싼 공정을 필요로 하는 건 또 아니에요. 모든 블록을 최신 공정에 넣는 건 모든 부품을 같은 소재와 같은 공법으로 만들겠다는 말이랑 비슷한데요. 보속 아이오나 설데스 아날로그 블록은 미세화보다는 신호 무결성 그리고 전압 특성 비용이나 검증 안정성이 더 중요할 때가 있습니다. 네. 여기서 지금 보시는 건 세미 위키에서 그 세미 아날시스에서 발표한 내용을 정리를 한 건데요. 피규어 7에 보시면 반도체의 파운드리 제조 공장을 단순히 보면 크게 세 가지로 나뉘게 되죠. 여기서 흔히 5나노, 3난노 이렇게 미세화가 되는 부분이 로직이라고 한다면 최근 들어서 미세화가 힘들다는 부분은 S램인 거죠.

근데 이미 아날로그 아이오 쪽 그러니까 인터페이스의 파이 같은 부분들은 이미 수십나노 대에서 미세화가 힘들어진 상황인 거예요. 이러한 공정 미세화 트렌드를 생각을 해 보자면 무조건 TSMC의 비싼 2노 공정 이런 거를 활용을 해서 메모리 인터페이스를 구성을 하는 건 너무 과할 수도 있는 투자인 거죠. 반면에 파일 쪽을 삼성의 적정한 수준의 공정 미세화랑 함께 적정한 웨이퍼당 가격으로 생산을 하는 건 생산 단가 측면에서도 빅테크 기업들의 아주 매력적인 선택지가 될 수 있다는 말입니다. 그래서 침넷은 단순히 칩을 쪼개는게 아니라 기능별로 가장 유리한 공정이랑 가장 좋은 제조 파트너를 고르는 방식입니다. 침내 구조는 다학 블록을 가장 적합한 공정에 따로 배치를 할 수 있게 해 주는 거죠. 컴퓨터는 선단 공정으로 또 아이오는 검증된 공정으로 아날로그는 특성에 맞는 공정으로 그리고 메모리 인터페이스는 패키지와 HBM 연결을 고려한 구조로 이렇게 가져갈 수 있게 되는 겁니다. 그리고이 흐름이 강해질수록 파운더리 경쟁도 달라지게 되는데요.

한 파운더리가 모든 걸 가져가서 독식하는 구조가 아니라 각 기능의 블록별로 가장 잘 맞는 플레이어가 들어올 수 있는 구조가 되는 겁니다. 그리고 세 번째는 메모리 병목인데요. AI 칩은 연산 성능이 계속 올라가요. 그런데 연산기가 빨라지는 속도만큼이나 거기에 데이터를 끊임없이 넣어 준 능력도 이제 중요한데 그게 따라오지 못하는 문제가 지금 커지고 있습니다. 이게 생각해 보면 되게 이상한 구조예요. 예를 들어서 A380 같이 이렇게 엄청 큰 비행기 한 데가 승객 수백명을 실고서 초음속으로 날아왔는데 와 보니까 입국 심사대는 딱 두 개가 열려 있는 거죠. 그러면 세 개에서 제일 빠른 속도로 날아와서 길게 늘어선 줄에 마냥 기다리고 있는 거예요. 이렇게 스펙에 적힌 피크 성능은 높아도 실제 워크로드에서는 메모리 이동이 발목을 잡을 수가 있습니다. 그래서 컴퓨터와 메모리를 얼마나 넓고 짧게 있느냐가이 AI칩의 진짜 성능을 정하게 되는데요. 여기에서 삼성의 이름이 등장한 자리가 정확히 병목 구간입니다. 그래서 이건 꽤 의미가 있는 거예요.

이게 메인 컴퓨트 다이는 아니지만 AI칩에 실제 처리를 결정하는 위치에 들어갈 가능성이 생긴 것이기 때문이죠. 그리고네 번째는 공급망인데요. TSMC의 선단 공정이랑 첨단 패키징에 모든 AI 칩 수요가 몰리게 되면 그거는 고객 입장에서는 성능 문제가 아니라 생산 케파 자체가 이제 병목이 되는 거잖아요. 지금 AI 반도체 시장은 TSMC의 선단 공정이랑 첨단 패키징에 엄청난 수요가 몰려 있습니다. M비DI의 GPU, AMD 가속기, 빅테크의 커스텀이까지 모두 비슷한 병목을 공유하게 되는데요. 구글이 TPU를 키운 이유가 엔비디아의 의존을 줄이려는 이유였는데 제조까지 이렇게 한 곳에 발이 묶게 된다면 그거는 의존 대상만 바뀌게 되는 셈이죠. 그래서 삼성이랑 인텔이 거론되는 건 가격 흥정의 이유뿐만이 아니라 이거는 공급망을 분산시키려는 전략입니다. 그렇기 때문에 침넷은 단순히 최신 유행의 설계 방식이 아니라 너무 커지고 너무 비싸지고 너무 복잡해진 AI칩을 현실적으로 만들기 위한 구조적인 해법에 가깝습니다.

네. 사실 이런 흐름은 업계에서는 전혀 새로운 이야기가 아닌데요. 침넷으로 주목받았던 제품이 바로 인텔의 미티오레이크 같은 CPU인데요. 하나의 제품 안에 여러 타일, 그러니까 침넷들이 들어가고 그 침넷들이 서로 다른 공정이랑 패키징 기술로 묶기는 구조인데이 침넷들 중에 일부는 TSMC에서, 일부는 인텔에서 이렇게 각각 만들어서 합치게 되는 거죠. 각자 알맞은 공장으로 만들고 마지막에 고급 패키징으로 하나의 제품처럼 이렇게 묶는 방향으로 가는 겁니다. 그래서 침내 시대에는 패키징의 위상이 완전히 달라지게 되는데요. 이게 더 이상 단순한 후공정 작업이 아니에요. 예전에는 전공정에서 좋은 칩을 만들고 마지막에 그냥 포장을 한다고 생각을 했었죠. 어, 그런데 조각을 다시 붙이는 시대가 되니까 이게 어떻게 붙이는지가 성능을 결정하는 아주 중요한 설계 요소가 됩니다. 파일을 얼마나 가까이에 붙일 건지, 어떤 인터넥트로 연결을 할 건지, 그리고 데이터가 어디로 흐를 건지, 전력과 열을 어떻게 처리를 할 건지이 하나하나가 모두 매우 중요해지는데요.

이입비나 포베러스 같은 기술이 중요한 이유도 바로 여기에 있습니다. 서로 다른 타일을 그냥 이렇게 옆에 갖다 놓는다고 해서 하나의 고성능 칩이 되는 건 아니거든요. 그 사이를 충분한 대역폭이랑 낮은 지연 그리고 안정적인 신호품질로 연결을 해야만 합니다. AI 칩에서는이 문제가 더 커지는데요. 컴퓨트다이, 메모리 인터페이스, IO가 모두 높은 대역 폭으로 연결이 되어야 하기 때문이죠. 그래서 첨단 패키징은 이제 칩을 담는 기술이 아니라 칩을 시스템으로 만드는 기술에 가깝습니다. 이제이 관점으로 구글 TPU를 다시 보면 뉴스의 의미가 좀 다르게 보이시죠? 메인 컴퓨트 다이는 TSMC가 맡을 가능성이 사실 높아요. 삼성은 메모리 인터페이스 컴포넌트를 2노 공정으로 만드는 후보로 거론이 됐습니다. 그리고 인텔도 일부 TPU 생산의 후보로 언급이 됐는데요. 이걸 보면 구글은 TPU를 하나의 파운드리의 통째로 맡기는 방식이 아니라 여러 파운드리랑 여러 공정, 여러 역할로 나누는 방향을 검토를 하고 있다고 볼 수 있어요.

구글이 원하는 건 단순히 좋은 칩 하나가 아니고요. 사의 AI 인프라를 장기적으로 확장을 할 수 있는 그런 안정적인 칩 공급망입니다. 그래서 이번 보도는 바로 그 공급망의 재구성 한 장면으로 볼 수가 있습니다. 여기에서 일부만 삼성이라는 표현을 어떻게 보느냐가 좀 중요한데요. 칩이 단일 다이였던 시대에는 일부를 맞는다는게 상대적으로 작은 의미처럼 보였을 수도 있겠죠. 하지만 침례 시대에는 꼭 그렇지 않습니다. 침례 시대에는 일부가 꼭 작다는 뜻이 아니에요. 그 일부가 병목이면 바로 그게 또 전략이 되는 거거든요. 그래서 삼성 파운드리의 현실적인 기회도 바로 여기서 나옵니다. 솔직히 말하면 삼성 파운드리가 TSMC의 메인 AI 컴퓨트 다이를 당장 대규모로 뺏어오는 건 쉬운 시나리오는 아니에요. TSMC는 선당 공정, IP 생태계, EDA 검증, 뭐 수율, 고객 실내, 그리고 코어스 같은 이런 첨단 패키징에서 이미 강력한 위치를 갖고 있기 때문에 그 좀 어렵죠. 그리고 AI 가속기의 메인 컴퓨트 다이는 고객 입장에서도 사실 쉽게 옮기기는 어려운 영역이에요.

하지만 이게 침 구조가 되면 전략이 달라지게 됩니다. 우리가 전체를 한 번에 가져올 필요가 없어요. 메모리 인터페이스, 아이오다이, 베이스다이, 패키징 같은 이런 핵심 블록들로 먼저 들어갈 수가 있는 거죠. 우리가 왕자를 빼앗는게 아니라 그곳으로 가는 길을 먼저 차지하면 되는 거예요. 그리고 이번에 그 길목이 메모리 인터페이스로 나타난 거고요. 물론 거론됐다는 말이 따냈다는 말은 아니에요.이 자리도 TSMC가 자기 패키징 안에서 직접 삼킬 수도 있고 인텔이나 옷셋도 같은 길목을 노리고 있습니다. 이게 문이 열린 거지 아직 들어간 거는 아니라는 이런 조심스러운 말씀을 드리면서 그렇지만 삼성이 다른 파운드이랑 구분되는 지점은 바로 메모리를 가진 파운들이라는 점입니다. 삼성은 HBM을 만들고 디램을 만들고 또 랜드를 만들고 메모리가 시스템 안에서 어디에서 막히는지를 오랫동안 봐온 회사거든요. 이게 별거 아닌 거 같은데 병목이 메모리로 옮겨가는 지금 같은 시점에서는 별거 맞습니다. 물론 메모리를 잘 만든다고 해서 인터페이스 설계를 자동으로 잘하라는 법은 없죠.

그거는 좀 과장이에요. 하지만 중요한 건 삼성의 경험 범위입니다. 우리도 이난노 공정이 있습니다라기보다 우리는 메모리와 로직 사이의 문제를 함께 볼 수 있습니다라는 이야기가 훨씬 더 일이 벌어지길래 그럴까요? 메모리 인터페이스를 조금 더 기술적으로 보자면이 영역은 생각보다 훨씬 복잡합니다. 이게 단순히 컴퓨터 다이랑 HBM 사이에 선을 많이 그으면 되는 거 아니야라고 생각을 하실 수도 있는데 그게 말처럼 그렇게 간단하지는 않아요. HBM 파일 필요하고 메모리 컨트롤러가 필요하고 다이투다이 링크도 필요하고 패키지 안에 배선 구조도 필요합니다. 또 고속 신호가 이렇게 오가는만큼 신호의 무결성도 중요하고요. 높은 전류라든가 전력 밀도를 감당해야 하기 때문에 전력의 무결성도 상당히 중요합니다. 여기에 열 문제도 얽히게 되는데요. AI 가속기는 전력 소모가 크고 HBM도 발열이 있습니다. 그러면 패키지 안에서 어떤 다위를 어디에 배치하고 또 어떤 경로로 데이터를 보내고 어떻게 열을 빼낼지가 모두 시스템 성능에 영향을 주게 되겠죠.

그래서 메모리 인터페이스는 보조 칩이라기보다는 피크 성능, 그러니까 스펙표에 나와 있는 그 숫자를 실제 돌아가는 성능으로 바꿔 주는 변한 지점인 거예요. 실제 모델을 안정적으로 돌리는 성능은 메모리와 인터페이스가 같이 만들게 되는 거죠. 그리고 여기서 핵심은이 문제들이 하나같이 로직 따로 메모리 따로 봐서는 풀 수가 없다는 점인데요. 메모리가 어떻게 동작을 하고 어디서 막히는지를 알아야지 통로를 제대로 설계를 할 수가 있어요. 근데 삼성처럼 HBM, 디램, 랜드, 컨트롤러, 파운드리, 패키징 이렇게 한 회사 안에서 다 같이 이야기할 수 있는 플레이어가 사실은 잘 없습니다. 여러분, 이제 삼성이 들고 있는 카드가 왜 좋은 카드인지 아시겠죠? 결국 전장은 바뀌고 있습니다. 과거에는 누가 가장 앞선 공장으로 메인 다이를 찍느냐가 파운드의 경쟁의 핵심처럼 보였는데요. 물론 지금도 그건 중요하긴 하죠. 하지만 AIB이 침내 구조로 가면 갈수록 경쟁은 훨씬 더 입체적으로 바뀌게 됩니다. 누가 메인 칩을 막고 누가 HBM을 대고 누가 통로를 설계하고 또 누가 패키징 능력을지고 누가 대체 공급망이 되어지느냐 이게 전부 하나의 칩 안에서 연결이 돼요.

그래서 이번 뉴스를 정리를 해 보자면 삼성이 TPU를 통째로 가져온 건 아니에요. 쪼개진 조각 중에 하나의 이름을 올리게 된 거죠. 평소로 보면 사실 작습니다. 그런데 칩도 입지가 있어요. 외딴 변두리 40평이 서울 노른자 땅에 25평을 못 이기듯이 침내 시대에는 자리가 곧 값을 정하게 됩니다. 그래서 확정된 건 아무것도 없습니다. 하지만 확정 여부보다 중요한 건이 보도가 가르키는 방향이에요. AI 반도체가 지금 어디로 가고 있는지 우리가 그 신호로 읽어야 되는 이유인 거죠. 그러면 오늘은 여기까지 안들공학의 패치였습니다. 입니다.