HPC

차세대 Lumi AI 슈퍼컴퓨터를 위해 Bull이 HPE를 능가하다

여러 면에서 유럽은 미국보다 더 전통적이며, 이는 특히 GenAI 인프라에 있어서 두드러집니다. 모든 국가 슈퍼컴퓨팅 연구소는 기존의 HPC 시뮬레이션 및 모델링과 GenAI 모두를 수행할 수 있는 시스템을 구축했지만, 유럽에서 AI 노력은 AI 모델 빌더가 아닌 국가 연구소에 초점을 맞추어 GenAI와 전통적인 머신러닝 모델을 커스터마이징하는 데 집중하고 있습니다.

물론 이는 주요 AI 모델 빌더들이 미국과 중국에 기반을 두고 있기 때문입니다. 하지만 상관없습니다. 저희의 요점은 유럽 전역에서 국가 연구소들이 HPC와 GenAI 노력을 모두 주도하고 있으며, 정부 자금으로 과학적 과제에 GenAI를 적용하는 동시에, AI 모델을 구축하려는 기업이나 제품 설계를 위해 HPC 도구를 사용하려는 유럽 기업들에게 컴퓨팅 할당량을 제공하는 '성인들'이 현장에 있다는 것입니다.

국가 연구소들은 사모펀드나 GPU 가속기 제조사, 또는 대형 클라우드에 의해 자금을 지원받지 않기 때문에, 훨씬 적은 돈과 컴퓨팅 자원(두세 자릿수 크기)으로 버텨야 합니다. 하지만 괜찮습니다. 그들은 여전히 이전에 접근할 수 있었던 것보다 더 많은 컴퓨팅 용량을 얻고 있으며, 자신이 명백하게 세상에 선한 일을 하고 있다는 것을 알면서 잠자리에 들 수 있습니다.

따라서 EuroHPC Joint Undertaking의 자금 지원을 받아 순라니아(Finland) 카야아니(Kajaani) 소재 과학 계산 센터(CSC) 시설에 설치될 예정인 차세대 Lumi-AI 슈퍼컴퓨터가 바로 그 예입니다. (Lumi는 핀란드어로 '땅 위의 눈'이라는 뜻이지만, 이 기계의 마스코트는 흰 늑대입니다. 핀란드어로 늑대는 'susi'일 수 있었을 겁니다...)

원래의 Lumi 하이브리드 슈퍼컴퓨터 클러스터는 CPU 전용, CPU-GPU, 대용량 메모리 CPU, 오브젝트 스토리지, Lustre 병렬 파일 시스템 스토리지, 플래시 스토리지를 혼합한 형태로 구성되었으며, 처음 공개된 것은 2020년 10월이었습니다. 이 하이브리드 머신은 FP64 정밀도 기준으로 총 552 페타플롭스의 집계 컴퓨팅 성능을 가질 것으로 예상되었습니다. AMD Epyc 프로세서를 기반으로 하는 20만 개 이상의 CPU 코어를 가진 Lumi-C 파티션은 약 2 페타플롭스(petaflops)의 FP64 연산 능력을, AMD Instinct 프로세서 기반의 Lumi-G 파티션은 약 550 페타플롭스의 배정밀도 부동소수점 처리 능력을 가졌습니다. 또한 이 Lumi 클러스터는 30 PB의 Ceph 오브젝트 스토리지, 80 PB의 Lustre 스토리지, 그리고 7 PB의 플래시 스토리지를 갖추고 있습니다. 각 파티션 내 노드와 파티션들을 연결하는 데 사용된 것은 Hewlett Packard Enterprise가 시스템의 주 계약자로 맡은 “Rosetta” 200 Gb/sec Slingshot-10 인터커넥트였습니다.

이 전체 시스템에는 EuroHPC로부터 2억 3,700만 달러의 예산이 배정되었으며, 이는 테라플롭스당 약 431달러에 해당합니다. Lumi-C 파티션은 2021년 여름에 납품되었고, Lumi-G GPU 파티션은 2021년 말에 납품되었습니다. 이 파티션들은 2022년 6월에 가동을 시작했습니다. Lumi-G 파티션은 같은 해 Top500 순위에서 11번째 슈퍼컴퓨터로 선정되었는데, 당시 이미 4년이 지난 시스템임에도 불구하고 결코 만만치 않은 성능을 보여주었습니다.

Lumi-C 파티션은 총 1,536개의 노드로 구성되어 있으며, 각 노드는 2.45 GHz로 작동하는 64코어 “Milan” Epyc 7763 프로세서 한 쌍을 갖추고 있습니다. 이는 정확히 총 196,860개의 코어로 이어집니다. 이 파티션은 6월 Top500 순위에서 262위를 차지했으며, 최대 이론 성능은 7.29 페타플롭스, 지속적인 Linpack 성능은 6.3 페타플롭스를 기록했습니다. 이는 1.22 메가와트의 전력 범위 내에서 매우 인상적인 82.6%의 컴퓨팅 효율을 의미하며, 와트당 5.18 기가플롭스(gigaflops)에 해당합니다.

이 머신은 노드들을 연결하기 위해 200 Gb/sec Slingshot 11 인터커넥트를 사용합니다.

Lumi-G 파티션은 2,978개의 노드로 구성되어 있으며, 각 노드는 단일 64코어의 “Trento” Epyc 7A53 커스텀 프로세서와 여기에 연결된 네 개의 “Aldebaran” MI250X GPU 가속기를 갖추고 있습니다. (Trento 칩은 미국 오크리지 국립 연구소의 “Frontier” 슈퍼컴퓨터를 위해 커스텀 제작되었으며, 이전에 공식적으로 상용화되기 전에 AMD CPU와 GPU 간 메모리 일관성을 제공했습니다.) 이는 총 2,978개의 Trento CPU, 190,592개 코어, 그리고 11,912개의 Aldebaran GPU를 의미하며, 총 262만 개의 컴퓨팅 유닛과 1억 6,770만 개의 스트리밍 프로세서를 갖추고 있습니다. Lumi-G 파티션의 노드들은 200 Gb/sec Slingshot-11 인터커넥트로 연결됩니다. Lumi 머신의 이 파티션은 FP64 정밀도에서 최대 이론 성능 531.5 petaflops를 가지며, Linpack 테스트에서는 379.7 petaflops로 평가되어 계산 효율성은 71.4퍼센트입니다. 이 파티션의 전력 소비는 7.1 메가와트이며, Linpack 기준 와트당 53.43 gigaflops를 제공하여 CPU 전용 파티션보다 10배 이상 높은 전력 효율성을 보여줍니다.

제가 아는 미래 Lumi-AI 파티션에 대해서 말씀드리자면, 이는 Lumi-G 파티션의 업그레이드 버전이며, AMD GPU의 가치와 세계적인 GPU 용량 부족을 고려할 때 계속 생산될 것이라고 가정합니다. 이 파티션은 AI 워크로드에서 10배의 성능과 FP64 HPC 워크로드에서는 “약 2배”의 성능을 제공할 것입니다.

MI250X는 INT4 및 INT8 데이터 형식뿐만 아니라 FP16 형식도 지원하여 AI 성능을 능가하는 것이 어렵지 않을 것입니다. 하지만 세 가지 모두에서 성능은 동일했습니다. 따라서 INT4와 INT8이 Aldebaran GPU에 정확히 네이티브한 것은 아니었고, FP16 위에 덧붙여진 형태였는데, 당시에는 괜찮았습니다. 그러나 HPC 및 AI 워크로드 모두를 목표로 패키징되는 Altair GPU인 MI430X(AI 추론 및 학습을 목표로 하는 최고 사양의 Altair MI455X와는 다름)를 사용하면 FP4 및 FP8 처리가 네이티브하여, FP16에서 낮추면서 곱셈 효과를 얻게 됩니다. 따라서 10배 성능 중 4배가 FP16에서 FP4로 전환하는 것에서 나옵니다. 그러면 MI250X에 사용된 Aldebaran GPU와 비교했을 때, MI430X의 Altair GPU는 FP16에서 2.5배 더 높은 순수 성능을 갖게 됩니다.

물론 이것은 Lumi-AI 파티션의 노드 수가 훨씬 작아야 함을 의미합니다. 장치 자체는 확실히 전기를 더 많이 소모하고 따라서 열도 더 많이 발생하겠지만 말입니다.

Lumi-AI에서의 노드 수를 계산해 보겠습니다.

MI250X는 벡터 유닛에서 47.9 teraflops, 매트릭스 유닛에서 95.7 teraflops의 성능을 갖도록 평가되었습니다. MI430X는 FP64 워크로드에서 최대 288 teraflops를 기록했으며, AMD는 이것이 벡터 유닛인지 매트릭스 유닛인지 정확하게 밝히지 않았습니다. 그럴 필요가 없습니다. 왜냐하면 MI430X는 벡터 유닛과 매트릭스 유닛 모두에서 288 teraflops를 제공하기 때문입니다. Lumi-G 파티션에 대해 계산해 보면, CSC Finland은 벡터 FP64 성능을 세었으며 (47.9 teraflops 곱하기 노드당 4개 GPU 곱하기 2,978노드는 최대 570.6 petaflops를 기록합니다. (이것이 Linpack 테스트의 531.5 Rpeak와 일치하지 않는 이유는 알 수 없습니다.)

Lumi-AI에서 FP64 벡터로 GPU 성능을 2배 높이려면 MI430X GPU가 단지 3,962개만 필요하며, 이는 노드 수를 991개에 불과하게 만듭니다. 이는 AI 파티션의 노드 수가 66.7% 감소함을 의미합니다. (이는 1.14 exaflops 피크로 엑사스케일(exascale) 장벽을 돌파하는 것으로, 심리적으로 중요합니다. 하지만 각 노드는 Venice-Altair 1x4 보드의 경우 5킬로와트(kilowatts)를 소모하여 Trento-Aldebaran 1x4 보드의 2.5킬로와트에 비해 약 2배의 에너지를 소비하게 됩니다. 따라서 991개 노드를 가정할 때 Lumi-AI 파티션은 약 5메가와트(megawatts)를 소비할 것으로 예상되며, 이는 Lumi-G 파티션 대비 33% 감소한 수치입니다.

이상한 점은 이 노드 수를 기반으로 FP64의 AI 성능을 계산하면 단지 8배의 성능 증가만 얻는다는 것입니다. 4비트(bit) 정밀도에서 Lumi-G 대비 10배 증가를 얻으려면 MI430X GPU가 4개 장착된 1,240개의 노드가 필요합니다. 이는 CSC Finland이 언급하는 것보다 FP64 벡터 성능을 25% 더 확보할 수 있다는 것을 의미할 수도 있습니다.

저는 GPU 파티션의 노드 수가 58.4% 감소하고 Lumi-AI 시스템 전력이 약 6.2메가와트(megawatts)인 MI430X GPU 4,960개가 장착된 1,240개 노드를 선택하겠습니다. Lumi-AI 파티션의 주요 계약업체인 Bull과 CSC Finland 모두 AI 성능은 10배 높고 HPC(High Performance Computing) 성능은 “약 2배”일 것이라고 분명히 밝혔습니다. 왜 HPC 센터들이 자신들의 진술에서 부정확한지 미스터리이며, 정밀함으로 살아가는 조직에게는 직관에 반합니다.* 정말이군요.*

256코어의 “Venice” Epyc 9006 프로세서를 사용하면 Lumi-AI 파티션은 317,440개의 코어를 갖게 되며, 이는 GPU를 오케스트레이션하는 데 도움이 되는 상당한 컴퓨팅 유닛 수이며 현재 Lumi-G 파티션의 코어 수보다 66.7% 더 높은 수치입니다.

이 모든 것을 고려하고, Lumi-AI 파티션의 가격표가 3억 8,780만 유로라는 점을 미국 달러로 환산하면 4억 4,510만 달러의 비용이 발생하며, Lumi-AI 파티션의 최대 FP64 성능인 1.43 exaflops 대비 테라플롭스당 비용은 312달러입니다. 이는 2021년에 전체 Lumi 클러스터가 설치되었을 때의 피크 테라플롭스당 비용 431달러보다 27.6% 낮은 수치입니다. Lumi CPU 전용 파티션과 다양한 스토리지 클러스터도 Lumi-AI 계약에 따라 업그레이드될지 여부는 알려지지 않았지만, 우리는 그렇게 될 것이라고 추정합니다. 이는 전체 시스템을 사과와 사과로 비교할 수 있게 만듭니다.

CSC Finland와 그 유럽 HPC 자금 지원 부문인 EuroHPC가 이 거래에서 HPE보다 Bull을 선택한 것은 사실 별다른 놀라운 일이 아닙니다. EuroHPC는 가능한 한 유럽산 제품을 구매하기를 원합니다. 게다가, Slingshot은 Ultra Ethernet Consortium 하드웨어에 맞게 수정될 수 있는 이더넷 변종이지만, Bull의 BXI 프로토콜은 UEC 하드웨어에서 실행되도록 조정되어 그 다양한 기능을 활용하고 있습니다. 이는 BullSequana XH3500 시스템을 사용하는 Bull 고객들이 스케일 아웃 클러스터링을 수행할 때 선택권을 갖게 됨을 의미합니다.

Lumi-AI GPU 파티션은 2027년 하반기에 카야아니(Kajaani)에 위치한 새로운 데이터센터에 설치될 예정입니다. 핀란드, 체코, 덴마크, 에스토니아, 노르웨이, 폴란드가 유럽연합의 EuroHPC JU와 함께 자금을 투입하고 있습니다. 각 주체가 지불하는 정확한 금액은 공개되지 않았습니다.

Lumi AI 공장에는 이 새로운 AMD Venice-Altair 클러스터뿐만 아니라 Lumi-IQ라는 양자 컴퓨팅 요소도 포함될 것입니다. 이 양자 시스템은 IQM Quantum Computers가 구축하고 있으며, 이 핀란드 회사는 지금까지 6억 유로의 벤처 캐피털을 유치했으며 유럽 최고의 양자 컴퓨팅 공급업체가 되는 것을 목표로 하고 있습니다. 이 회사는 상장 준비를 하고 있으며 현재 가치는 18억 달러입니다.

이 계획에 따라 Bull은 2027년 CSC Finland에 Halocene H4 시스템을 설치할 예정이며, 이 시스템은 물리적 큐비트(physical cubits) 150개와 논리적 큐비트(logical qubits) 5개를 지원합니다. 오류 수정(error correction) 및 논리적 큐비트의 신뢰성을 개선하기 위한 업그레이드는 2028년에 진행될 것입니다. 그리고 2029년에는 CSC Finland이 Halocene H5 양자 컴퓨터로 업그레이드될 예정이며, 이 시스템은 물리적 큐비트 개수는 알려지지 않았지만 최소 9개의 논리적 큐비트를 제공할 것입니다. 이는 해당 로컬 큐비트를 제공하기 위해 총 270개의 물리적 큐비트가 필요함을 의미합니다.