BOOM 🚨 SpaceX가 단 두 달 만에 Nvidia의 가장 강력한 AI 칩 약 42만 개를 추가할 예정이며, 일론 머스크는 그 진행 과정을 우리에게 보여주었습니다.
이 모든 것은 멤피스에 위치한 SpaceX의 AI 데이터 센터인 Colossus 2로 들어갑니다. 이 시설은 별명으로 불리는 홀들로 나뉘어 있으며, 그중 Macroharder와 Minihard 두 곳에는 이미 각각 약 220,000개의 GB300 칩이 장착되어 있습니다.
이제 두 곳의 홀이 더 합류합니다. 일론에 따르면 Gun Range는 같은 구성을 갖추고 오는 11월 말까지 온라인 상태가 될 예정이며, Spam은 12월에 약 20만 개의 칩과 함께 뒤따를 것입니다.
이는 연말 전에 가동되는 하드웨어 규모로 약 25억~35억 달러에 해당합니다.
그리고 가장 좋은 점은 다음과 같습니다. 새로 지어지는 두 홀은 완전히 다른 목적을 위해 설계되었습니다.
Gun Range는 AI 모델이 학습하는 '훈련(Training)' 장치입니다. 훈련은 수십만 개의 칩들이 끊임없이 정보를 주고받는 거대한 그룹 프로젝트와 같습니다.
이를 따라가기 위해 모든 칩에는 엄청난 800기가비트 네트워크 연결이 제공되며, 건물 전체는 막대한 양의 광섬유(fiber)로 배선되어 있습니다.
반면 Spam은 AI가 사람들의 질문에 실시간으로 답변하는 '추론(Inference)' 장치입니다. 각 질문은 작은 그룹의 칩들이 자체적으로 처리할 수 있기 때문에, 나머지 건물과 소통할 필요가 거의 없습니다.
이것이 일론이 Spam에는 훨씬 단순한 네트워킹과 절반 이하의 광섬유만 필요하다고 말하는 이유입니다. 배선이 적다는 것은 더 빠르고 저렴하게 건설할 수 있다는 의미입니다.
이를 교실 대 상담 데스크에 비유해 생각해 보세요. 교실에서는 모두가 함께 학습합니다. 반면 상담 데스크에서는 각 직원(clerk)이 자신의 고객을 전담하여 처리합니다.
그리고 네, 이 이름들은 농담입니다. Spam의 건물은 예전에 Hormel 제품(Hormel 사에서 만든 스팸)을 보관하던 곳이었으며, Macroharder와 Minihard는 Microsoft를 풍자한 것입니다.
우리는 보통 모델 출시와 벤치마크 점수를 통해 AI 경쟁을 따라갑니다. 하지만 이것은 건설(구축) 레이스이기도 하다는 것을 상기시켜줍니다. 그리고 현재 SpaceX는 마감일이 어제였던 것처럼 움직이고 있습니다.
[@elonmusk 인용]: Macroharder와 Minihard 모두 훈련(training)을 위해 800기가 nics가 구성된 22만 개의 GB300s를 갖추고 있습니다. Gun Range도 동일할 것입니다. Spam (Hormel 제품이 보관되었던 곳)은 약 20만 개의 GB300s를 갖겠지만, 추론(inference)용으로 구성되어 있어 네트워킹이 훨씬 간단하고 광섬유(fiber)는 절반 미만입니다.
저는 전체 Colossus 2를 걸어보았습니다.
