5090의 전력 제한을 최소 480W로 낮추세요 - 추론 (Inference) 시 성능 저하는 미미합니다.
요약
RTX 5090의 전력 제한을 480W로 설정할 경우, 소음과 발열을 크게 줄이면서도 추론 성능 저하는 미미함을 실험을 통해 확인했습니다. 450W 이하로 낮추면 성능 저하가 급격해지므로 480W가 효율적인 지점입니다.
핵심 포인트
- 480W 제한 시 디코드 성능은 2.1%, 프리필 성능은 8.8% 감소
- 전력 제한을 통해 소음, 발열 저감 및 그래픽 카드 수명 연장 가능
- 450W 이하로 설정 시 성능 저하 폭이 급격히 증가함
- Qwen 3.6-27B 모델 기반의 실측 데이터 제공
저는 추론 (Inference)용 머신을 거실에서 가동하고 있기 때문에, 소음과 발열이 매우 큰 고민거리입니다. 제가 매일 사용하는 모델 (Qwen 3.6-27b)로 간단한 테스트를 진행해 본 결과, 480W 설정 시 디코드 (Decode) 단계에서는 t/s가 2.1% 감소하고, 프리필 (Prefill) 단계에서는 8.8% 감소했습니다 (이미 매우 빠른 속도임에도 불구하고). 제 개인적인 의견으로는, 엄청난 소음 감소와 발열 저감, 그리고 그래픽 카드 수명 연장 효과를 고려하면 충분히 가치 있는 일입니다. 많은 사용 사례에서 450W도 괜찮겠지만, 그 지점부터는 성능 저하가 급격히 나타납니다 (30W를 더 낮추면 2.1% -> 4.2%로 저하). 전체 데이터:
모델 (Model): Qwen3.6-27B-Q6_K.gguf
결과 (Results):
| 제한 W (Limit W) | 최대 GPU 온도 (Max GPU C) | 안정적 GPU 온도 (Steady GPU C) | 최대 GPU 팬 % (Max GPU fan %) | 지속 전력 W (Sustained W) | 안정적 클럭 MHz (Steady clock MHz) | 최대 케이스 RPM (Max case RPM) | pp t/s | tg t/s | pp % | tg %
|--------:|----------:|-------------:|--------------:|------------:|-----------------:|-------------:|-------:|-----:|-----:|
| 600 | 81 | 74.8 | 59 | 566 | 2818 | 1522 | 3242.9 | 61.5 | 100.0 | 100.0 |
| 510 | 75 | 70.1 | 50 | 509 | 2645 | 1367 | 2980.0 | 61.2 | 91.9 | 99.5 |
| 480 | 77 | 72.8 | 54 | 480 | 2501 | 1527 | 2863.4 | 60.2 | 88.3 | 97.9 |
| 450 | 76 | 73.1 | 52 | 450 | 2283 | 1460 | 2696.4 | 58.9 | 83.1 | 95.8 |
submitted by /u/WonderfulEagle7096 [link] [comments]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기