SpaceXAI의 Colossus-2 시스템이 슈퍼컴퓨터 순위에 나타나지 않는 이유

‘가장 빠른 컴퓨터’에 대한 많은 댓글들이 @SpaceXAI Colossus-2 시스템이 슈퍼컴퓨터 차트에 등장하지 않아 놀라움을 표하고 있습니다.
그것이 등장하지 않는 이유는 벤치마크를 실행하여 결과를 발표한 적이 없기 때문입니다. 여러 가지 가능한 이유가 있는데, Colossus 데이터센터는 물리 시뮬레이션보다는 AI에 맞춰 구축되었기 때문입니다.
LinPack 벤치마크는 유체역학(hydrodynamics), 유한요소해석(finite element analysis)과 같은 시뮬레이션에 필수적인 배정밀도 수학(Double precision math)을 기반으로 합니다. 하지만 AI는 그것이 필요하지 않으며, 모델은 훨씬 낮은 수치 해상도로 훈련됩니다. 따라서 AI 전용 하드웨어는 종종 배정밀도 수학을 무시합니다.
둘째로 네트워크가 매우 중요합니다. 슈퍼컴퓨터의 노드는 단일 문제에 대해 작동하기 위해 긴밀하게 상호 연결되어야 합니다. 하지만 데이터센터를 운영하는 경우, 훈련(training) 측면에서만 그러한 긴밀한 통합이 필요하며, 고객이 사용하는 추론(inference) 측면에서는 클러스터를 구성할 필요 없이 단일 GPU로 일부 모델을 실행할 수 있습니다.
따라서 Colossus-2가 프로세서의 일부만을 하나의 작업에 결합할 수 있을 가능성이 높습니다.
벤치마크를 실행하려면 팀이 괜찮은 성능을 얻기 위해 구성 변경을 해야 할 수도 있으며, 이는 실제 업무에서 시간을 빼앗아 갈 것입니다.
어쩌면 @elonmusk는 인공적인 벤치마크에 충분히 신경 쓰지 않아도 되고, Colossus가 실제 작업을 하는 동안 슈퍼컴퓨터 전문가들이 자신들의 수치를 비교하는 것을 즐기고 있을지도 모릅니다.

따라서 현재로서는 중국이 ‘세계에서 가장 빠른 컴퓨터’라는 명성을 얻습니다.
그리고 Microsoft는 Macrohard를 언급하며 그들의 상위 10개 순위를 제시할 수 있습니다.