Dual DGX Spark (Asus GX10)로 로컬 LLM 구동 성능 테스트 결과 공유

요약

기존 고발열/고소음의 GPU 환경(3090, MI50 등)에서 Asus GX10 기반의 Dual DGX Spark 시스템으로 변경한 후 로컬 LLM 구동 성능을 테스트했습니다. 특히 Llama Benchy 벤치마크를 통해 다양한 컨텍스트 길이(Depth)와 토큰 수에 따른 추론 속도(t/s), 첫 토큰 시간(TTFR), 종단 간 TTFT(e2e_ttft) 등을 측정했습니다. 결과적으로, 이 시스템은 대용량 컨텍스트 처리에서 안정적이고 효율적인 성능을 보여주었으며, 특히 32k Depth와 100k Depth 테스트에서도 높은 추론

핵심 포인트

• Dual Asus GX10 (DGX Spark) 시스템은 개당 약 100W 전력 소비로 기존 고성능 GPU 대비 발열 및 소음 문제를 크게 개선했습니다.
• Llama Benchy 테스트 결과, 컨텍스트 길이(Depth)가 증가함에 따라 추론 속도(t/s)는 점진적으로 감소하는 경향을 보였으나, 시스템은 안정적으로 작동함을 입증했습니다.
• 32768 Depth에서 pp2048의 경우 15512.65ms의 e2e_ttft를 기록했으며, 이는 대규모 컨텍스트 처리 능력을 보여줍니다.
• 최대 102400 Depth 테스트에서는 추론 속도가 1167.98 t/s (pp2048)로 측정되었으며, 시스템의 확장성과 안정성을 확인했습니다.