M5, DGX Spark, Strix Halo 및 RTX 6000 성능 비교 테스트 결과

여러분, 아주 간단한 내용입니다. 최근 새로운 M5 Mac 대 DGX Spark, Strix Halo, 그리고 전용 GPU (dedicated GPUs) 등에 대해 온라인에서 많은 논쟁이 있었습니다.

그래서 저는 이 기기들을 모두 충분한 전력과 냉각 시설이 갖춰진 공간에 모아두고, 지난 3일 동안 표준화된 테스트를 통해 모든 작업을 병렬로 실행한 뒤 그 결과를 리포지토리 (repo)에 공개했습니다.

수치상 성능과 기본 사양을 고려하면 많은 부분이 그리 놀랍지는 않습니다. RTX 6000의 메모리 대역폭 (memory bandwidth) 속도는 약 1,800 GB/s인 반면, M5는 약 600 GB/s, Spark와 Strix는 약 256 GB/s입니다. 하드웨어당 초당 토큰 생성량 (Tokens per second)은 이러한 수치와 곡선을 매우 잘 따릅니다.

가격대를 고려했을 때, 그리고 특정 생태계에 종속되지 않는다고 가정한다면, 풀스펙 M5는 진정으로 훌륭하며 DGX Spark를 매우 공격적으로 압도합니다. 다시 말씀드리지만, 메모리 대역폭 속도를 보면 그리 놀라운 일도 아닙 (동일한 총 통합 메모리 (total unified memory) 기준, M5의 메모리 대역폭 속도가 2배 이상 높음).

두 번째로 주목할 점은 아마 놀랍지 않겠지만, EVO X2의 발열 (thermals) 문제가 장시간 실행 시 발생했다는 것입니다. MacBook은 무엇보다 발열 관리 측면에서 예상외로 저를 놀라게 했습니다. 며칠 동안 작동하면서도 80°C 범위를 유지하며 안정적으로 돌아갔습니다. 다만, 이 기기가 풀 가동될 때는 일반적인 게이밍 노트북 같은 소리가 난다는 점을 말씀드리고 싶습니다. 사람들이 이 제품들이 "조용하다"고 말하는 데에는 약간의 선전 (propaganda)이 섞여 있습니다.

로컬 AI (local AI)를 구동하기 위해 M5 MacBook Pro를 풀 가동하면, 로컬 AI를 구동하려 했던 다른 모든 노트북처럼 헤어드라이어 같은 소리가 납니다. 항공모함처럼 견고하게 설계되었고 그 체급에 걸맞게 성능도 매우 뛰어나지만, 작동 중일 때는 100% 작동 중임을 알 수 있을 정도입니다 (웃음).

현재 저는 백엔드 (back ends)를 교체하며 Mac에서의 MLX, Strix Halo에서의 다양한 호스팅 백엔드 등이 성능과 출력에 어떤 영향을 미치는지에 대한 데이터를 추가하고 있습니다. 뻔한 지적을 피하기 위해 말씀드리자면, RTX 6000은 RTX 5090과 동일한 모델은 아닙니다. 하지만 이 데이터가 5090 PC와 다른 기기들 사이에서 고민 중인 분들에게 유용할 수 있는 유사점들이 카드들 사이에 많이 존재합니다.

어느 쪽이든, 저장소 (repo)를 첨부하니, 이것이 향후 논의와 토론을 위한 가공되지 않은 데이터와 수치를 제공하는 데 도움이 되기를 바랍니다: