Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
AI 서버 구축을 위해 NVIDIA RTX 5060 Ti와 AMD RX 9060 XT 16GB 모델의 성능을 비교 벤치마크한 결과입니다. 다양한 LLM 모델을 대상으로 응답 및 프롬프트 토큰 생성 속도를 측정한 데이터를 공유합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기안녕하세요!
몇 달 전 AI 서버를 계획하면서 RX 9060 XT 16GB와 RTX 5060 Ti 16GB의 벤치마크(benchmarking)를 진행했습니다. 결국 RTX 5060 Ti로 결정했지만, 벤치마크 결과를 기록해 두었기에 공유하려고 합니다 (당시에 하려고 했는데 잊어버렸네요).
AMD의 가성비 옵션을 고려 중인 분들에게 유용할 것 같아 작성합니다 : )
+----------------------+--------------------------------------+--------------------------------------+ | 모델 | AMD RX 9060 XT 16GB | NVIDIA RTX 5060 Ti 16GB | +----------------------+--------------------------------------+--------------------------------------+ | gemma3:12b | 응답 토큰 (Response Tokens): ~30.5t/s | 응답 토큰 (Response Tokens): ~47.4t/s | | | 프롬프트 토큰 (Prompt Tokens): ~415t/s | 프롬프트 토큰 (Prompt Tokens): ~650t/s | +----------------------+--------------------------------------+--------------------------------------+ | lfm2.5-thinking:1.2b | 응답 토큰 (Response Tokens): ~218.6t/s | 응답 토큰 (Response Tokens): ~360t/s | | | 프롬프트 토큰 (Prompt Tokens): ~1529.4t/s | 프롬프트 토큰 (Prompt Tokens): 1108.7 - ~4832.7t/s | | | | 참고: 프롬프트 토큰 속도는 무작위입니다. | | | | 4번 실행했으며, 모두 달랐습니다. | +----------------------+--------------------------------------+--------------------------------------+ | ministral-3:14b | 응답 토큰 (Response Tokens): ~31.6t/s | 응답 토큰 (Response Tokens): ~46.9t/s | | | 프롬프트 토큰 (Prompt Tokens): ~1112.4t/s | 프롬프트 토큰 (Prompt Tokens): ~18500t/s | +----------------------+--------------------------------------+--------------------------------------+ | qwen3:14b | 응답 토큰 (Response Tokens): ~28.3t/s | 응답 토큰 (Response Tokens): ~41.2t/s | | | 프롬프트 토큰 (Prompt Tokens): ~310.1t/s | 프롬프트 토큰 (Prompt Tokens): ~650t/s | +----------------------+--------------------------------------+--------------------------------------+ | qwen3-vl:8b | 응답 토큰 (Response Tokens): ~47.2t/s | 응답 토큰 (Response Tokens): 69.6t/s | | | 프롬프트 토큰 (Prompt Tokens): ~576.2t/s | 프롬프트 토큰 (Prompt Tokens): ~1100t/s | +----------------------+--------------------------------------+--------------------------------------+ | gpt-oss:20b | 응답 토큰 (Response Tokens): ~60t/s | 응답 토큰 (Response Tokens): ~87.5t/s | | | 프롬프트 토큰 (Prompt Tokens): ~252.8 - ~680t/s | 프롬프트 토큰 (Prompt Tokens): 1192.9 - 2357t/s | | | 참고: 모델을 여러 번 실행할 때 | 참고: 모델을 여러 번 실행할 때 | | | 프롬프트가 훨씬 빨라집니다. | 프롬프트가 훨씬 빨라집니다. | +----------------------+--------------------------------------+--------------------------------------+ | gemma3:4b | 응답 토큰 (Response Tokens): ~74.3t/s | 응답 토큰 (Response Tokens): ~114t/s | | | 프롬프트 토큰 (Prompt Tokens): ~865t/s | 프롬프트 토큰 (Prompt Tokens): 1627.8t/s | +----------------------+--------------------------------------+--------------------------------------+ | llama3.2:3b | 응답 토큰 (Response Tokens): ~98t/s | 응답 토큰 (Response Tokens): ~168t/s | | | 프롬프트 토큰 (Prompt Tokens): ~1054.8 - ~1447/s | 프롬프트 토큰 (Prompt Tokens): ~3829.1t/s | | | 참고: 모델을 여러 번 실행할 때 | | | | 프롬프트가 훨씬 빨라집니다. | | +----------------------+--------------------------------------+--------------------------------------+
시스템 사양 (SYSTEM SPECIFICATIONS)
일반 사양: CPU: i5-8500 RAM: 16GB DDR4 저장장치: 500GB SATA SSD OS: Ubuntu 24.04.3 LTS Ollama: 버전 0.16.1 프롬프트: "루빅스 큐브를 맞추는 방법에 대해 철저하게 설명해줘"
AMD 전용: ROCm: 7.2.0 amdgpu: 6.16.13
NVIDIA 전용: 드라이버 (Driver): nvidia-driver-590-open ```
제출자: /u/Ejo2001
[링크] [댓글]