16 대 스파크 클러스터 구축 업데이트

요약

본 문서는 16대의 DGX Spark 클러스터 구축 과정을 상세히 설명하며, 네트워크 속도(line rate) 달성 및 안정적인 운영 환경을 확보했음을 보고합니다. 이 시스템은 유니피드드 메모리 용량 극대화에 초점을 맞추어 설계되었으며, 대규모 병렬 처리가 필요한 프리필 작업에 활용됩니다. 향후 M5 Ultra Mac Studios를 추가하여 디코드 작업을 분산 처리하는 장기적인 아키텍처 계획을 제시합니다.

핵심 포인트

• 16대의 DGX Spark 클러스터가 네트워크 패브릭에 성공적으로 연결되어 광고된 200 Gbps의 속도를 달성했습니다.
• 클러스터 구축 과정은 스크립트 자동화를 통해 효율화되었으며, 각 노드는 사전 구성 요소가 갖춰진 NVIDIA Ubuntu 환경을 기반으로 합니다.
• H100/GB300 대신 Spark를 선택한 주된 이유는 NVIDIA 생태계 내에서 유니피드드 메모리 용량을 최대화하는 것이 핵심 목표였기 때문입니다.
• 시스템은 프리필(Spark 클러스터)과 디코드(M5 Ultra Mac Studios 추가 예정) 작업을 분리하여 병렬 처리 효율을 극대화하도록 설계되었습니다.