3x RTX 3090에서 2x RTX 5090으로 업그레이드한 후기
요약
작성자는 홈랩 서버의 GPU를 3x RTX 3090에서 2x RTX 5090으로 업그레이드하고, 소프트웨어 최적화(speculative decoding + NVFP4)를 적용하여 상당한 성능 향상을 경험했습니다. 이 과정에서 새로운 하드웨어 구성과 소프트웨어 업데이트가 AI 모델 구동에 미치는 영향을 비교 분석했습니다.
핵심 포인트
- RTX 3090에서 RTX 5090으로의 업그레이드가 큰 성능 개선을 가져옴.
- speculative decoding 및 NVFP4 적용이 성능 향상에 결정적 역할을 함.
- GPU 가격 변동 추이를 고려하여 장기적인 하드웨어 투자 계획을 세움.
홈랩 서버의 그래픽카드를 3x RTX 3090에서 2x RTX 5090으로 업그레이드했고, 소프트웨어 업데이트(speculative decoding + NVFP4) 덕분에 상당한 속도 향상을 얻었습니다.
설정: llama.cpp (build b11216), Qwen3.8-27B 모델 실행 (abliterated, Q8_0).
파란색 = 이전 3090 설정,
녹색 = 동일한 Q8 모델을 사용한 새로운 5090 설정,
청록색 = NVFP4 + speculative decoding으로 전환한 후의 5090 설정입니다.
색맹이신 분들을 위해 순서는 다음과 같습니다: 1 - 3090, 2 - 5090 Q8, 3 - NVFP4를 적용한 5090입니다.
'이전' 수치에 대한 한 가지 주의사항은 세 개의 3090 중 하나가 다른 두 개보다 느린 PCIe 슬롯에 장착되어 있어, 이 설정은 동일한 슬롯에 3x 3090을 사용했을 때보다 약간 낮은 성능을 보였다는 점입니다.
전반적으로 매우 만족합니다. 2주 전쯤 5090이 $7.5k까지 올라갔을 때 각각 $6.4k짜리 PC를 두 대 구매했습니다. NVFP4 지원을 위해 오랫동안 5090으로 업그레이드하고 싶었습니다. 계획은 3090을 개당 약 $2k에 판매하는 것입니다. 이 정도 가격까지 올라가려면 아마 또 2~3개월이 걸리겠지만, 그렇게 될 것이라고 예상합니다. 그래서, 구매한 PC의 남은 부품들과 3090을 합치면 최상의 시나리오로 $9k를 회수할 수 있을 것 같고, 세금을 제외하면 GPU 총비용은 약 $6k가 되어, 여전히 엄청난 가격이며 5090의 MSRP보다도 높습니다.
궁금한 점이 있거나 제가 테스트해 드릴 다른 벤치마크가 있다면 알려주세요. 기꺼이 해드리겠습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기