추론(Inference) 성능을 결정하는 핵심 요소: 코어 수보다 중요한 메모리 대역폭과 통합 RAM

여러분, 추론 (Inference)을 위해 가장 중요한 지점은 코어 수나 다른 다양한 지표들보다는 다음과 같은 요소들입니다:

1. 통합 RAM (Unified RAM)의 속도 값
2. GPU 대역폭 (GPU Bandwidth)
3. GPU 라이브러리 지원
4. 클러스터 (Cluster) 잠재력

하지만 여기서 단순히 수치적인 값으로만 접근하지 않는 것이 중요합니다! 그 이유를 설명하겠습니다.

섹션 1:
첫 번째로 통합 RAM (Unified RAM) 조사와 tok/sec에 미치는 영향을 측정해 봅시다.

🔴 AMD Ryzen AI Max+ 395 128GB;

• 총 용량: 128GB LPDDR5X-8000
• 대역폭: ~256 GB/s
• GPU 접근 가능 용량: 96GB (VGM); Linux에서 GTT 사용 시 ~115GB

🟢 Nvidia DGX Spark GB10 128GB;

• 총 용량: 128GB LPDDR5X
• 대역폭: 273 GB/s
• GPU 접근 가능 용량: 128GB (완전한 Coherent UMA). 참고: 하지만 115를 넘어가면 시스템이 잠깁니다.

🔵 Apple M5 Max 128GB;

• 총 용량: 128GB LPDDR5X-9600
• 대역폭: 614 GB/s
• GPU 접근 가능 용량: 기본 ~96GB, sysctl 사용 시 ~120GB. 참고: 하지만 110을 넘어가면 시스템이 추론 (Inference) 프로세스를 종료(kill)합니다.

이제 이 지표들이 서류상으로는 승자나 동등함을 보여줄지라도, 실제로는 그렇지 않습니다.

단일 스트림 토큰 생성 (디코딩 (Decode)이라고도 함)은 메모리 바운드 (Memory-bound)입니다. 즉, 이론적인 한계치는 간단히 다음과 같습니다:

• tok/s ≈ 대역폭 ÷ (활성 파라미터 × 파라미터당 바이트/byte)

따라서 이론적인 차이는 직접적인 대역폭 비율과 같습니다:

• M5 Max ÷ DGX Spark = 614/273 ≈ 2.25×
• M5 Max ÷ Strix Halo = 614/256 ≈ 2.40×
• DGX Spark ÷ Strix Halo = 273/256 ≈ 1.07× (실제로는 대등)

구체적인 예시 — 70B dense, Q4 (~40GB):

• M5 Max: 614/40 ≈ 15.4 tok/s
• DGX Spark: 273/40 ≈ 6.8 tok/s
• Strix Halo: 256/40 ≈ 6.4 tok/s

❗️하지만, MoE (Mixture of Experts) 모델들이 여기서 모든 것을 뒤흔듭니다...

• 토큰당 활성 전문가 (Active Experts)만 읽히기 때문에, 메모리 바운드 (Memory-bound) 특성이 약화되고 대역폭의 이점이 사라집니다...
• 즉, Qwen3 30B-A3B의 경우 DGX Spark/Strix Halo가 ~86 t/s, M4 Max가 ~81 t/s로, 실제로는 대등합니다. 왜냐하면 작업이 커널/연산 (Kernel/Compute) 효율성으로 넘어가기 때문입니다!
• 다른 하나인 프리필 (Prefill)과 학습 (Training)은 연산 바운드 (Compute-bound)입니다. 여기서는 대역폭이 아니라 텐서 (Tensor) 성능이 결정합니다. DGX Spark의 Blackwell 텐서 코어 (Tensor Core)가 이 모든 것을 앞섭니다...

따라서 최신 모델들이 모두 MoE (Mixture of Experts) 방식으로 출시되고 속도에 집중하고 있기 때문에, 결과는 귀하의 선택에 달려 있습니다...