EPYC 하이브리드 시스템 벤치마크 및 최적의 CPU

요약

EPYC 프로세서를 활용한 하이브리드 AI 추론 시스템의 성능 벤치마크 결과입니다. 다양한 EPYC 모델과 DDR5 메모리 설정에 따른 LLM 추론 속도(t/s)를 비교 분석했습니다.

핵심 포인트

• EPYC 9135와 RTX 5090 조합의 추론 성능 측정
• KV 캐시 크기 증가에 따른 토큰 생성 속도(TG t/s) 변화 확인
• CPU 전용 성능과 GPU 가속 성능 간의 비교 데이터 제공
• 메모리 대역폭 및 CCD 구성이 추론 성능에 미치는 영향 분석