소프트웨어는 106와트를 표시했지만, GPU는 여전히 약 70와트만 사용하고 있었습니다.
이것은 RTX PRO 4000 Blackwell SFF를 활용하여 잠재력을 끌어내기 위해 시도한 첫 번째 유용한 결과였습니다. 화면의 숫자가 바뀌었습니다. 부하 상태에서도 카드는 이전과 크게 다르지 않은 방식으로 작동했습니다.
결국, 이 동일한 24GB 카드가 Qwen3.8 27B 모델을 DFlash2를 사용하여 초당 35.04 토큰에서 58.53 토큰으로 처리할 수 있게 했습니다. 이는 전력 제한(power cap) 120W, 더 빠른 GDDR7 메모리, 그리고 코어 클럭 오프셋을 통해 달성된 67.05%의 생성 처리량(generation throughput) 증가를 의미합니다.
저는 교체 GPU를 구매하지 않았습니다. 이 카드는 보조 전원 커넥터가 없으며, 120W는 표준 PCIe 슬롯 예산인 75W를 초과하기 때문입니다. 백분율만큼이나 비용도 중요합니다.
제가 예상하지 못했던 부분은 두 번째 Qwen 모델에서 발생한 일이었습니다. 이 모델은 초당 115 토큰을 처리했지만, 다른 튜닝 프로필을 원했습니다. 158개의 벤치마크 요청 후, 저는 더 나은 핵심 수치를 얻었지만, “어떤 설정이 가장 빠른가?”라는 질문에 대한 답변은 훨씬 덜 편리했습니다.
메모리에 VBIOS 로딩하기
이 카드는 24GB의 GDDR7을 탑재한 NVIDIA RTX PRO 4000 Blackwell SFF Edition이었으며, 공장 출하 시 전력 사양은 70W였습니다. 원래의 블로어 쿨러와 자동 팬 제어를 유지하고 있었습니다. 프레임 밖에 추가 전원 케이블이 숨겨져 있지 않았습니다.
저는 GPU 잠금 해제 도구에 대한 보고서를 읽고 시작했지만, 제가 사용한 방법은 Panchovix의 Linux VBIOS Vix Loader였습니다. 이는 패치된 NVIDIA open kernel modules를 통해 메모리에 로드되는 수정된 VBIOS입니다.
EEPROM을 플래시하지 않았습니다. 납땜이나 션트(shunt) 수정도 없었습니다. 마더보드의 BIOS도 수정하지 않았습니다.
로더의 코드는 왜 이러한 구분이 중요한지를 보여줍니다. 이 패치는 RmLinuxVbiosOverride를 위해 NV_VBIOS_OVERRIDE_MODE_KEY를 사용하고, 이미지를 RmLinuxVbiosOverrideImage를 통해 읽어 들인 다음, 그 주소와 크기를 vbiosOverrideArgs를 통해 GPU 시스템 프로세서에 전달합니다. 이 드라이버는 EEPROM 내용을 영구적으로 대체하는 대신 시스템 메모리에 이미지를 스테이징(stage)합니다.
백업 시스템조차 저항했다. NVFlash 저장 작업은 성공을 보고했지만, 제로 바이트 파일을 남겼다. sysfs 읽기는 4,096바이트만 반환했다. 유지보수 시간 동안, 나는 GDB를 통해 NVFlash가 읽는 버퍼들이 해제되기 전에 이를 포착했다. 두 번의 독립적인 읽기를 통해 SHA-256으로 확인된 동일한 4 MiB 이미지를 얻었다.
성공 메시지는 그것이 실제로 무엇을 생성했는지 확인한 후에야 유용했다. 전력 슬라이더도 같은 교훈을 가르쳐 줄 참이었다.
여러 개의 잠금장치가 있는 전력 제한
화면에 표시된 106W가 부하 상태에서 여전히 70W를 의미할 수 있는 이유다. 눈에 보이는 전력 상한선은 관련된 정책 중 하나일 뿐이다. 최종 수정된 이미지는 디코딩된 일곱 개의 필드를 변경했다:
power_max_w 및 board_fixed_rated_w: 70 → 120 W.
slot_power_max_w 및 slot_power_rated_w: 66 → 120 W.
input_current_max_ma, input_current_rated_ma 및 input_current_policy7_limit_ma: 6,600 → 10,200 mA.
이것들은 GPU VBIOS 정책 필드에 대한 파서 이름이다. 이는 마더보드의 고립된 물리적 보호 임계값을 나타내지 않는다. 이미지에서 정책을 변경하는 것이 커넥터, 트레이스 또는 전력 공급 하드웨어를 개선하지는 못한다.
전압 필드는 높아지지 않았다. 디코딩된 REL 상한선은 850mV로 유지되었으며, 이는 GPU가 850mV에서 작동하는 것을 측정하는 것과는 다르다. 이 시리즈는 그러한 주장을 할 수 있는 코어 전압 원격계측(telemetry)을 가지고 있지 않았다.
더 높은 제한이 적용된 후, 다음 질문은 추가적인 전력이 유용한 추론 작업(inference work)을 가져왔는지 여부였다.
첫 번째 Qwen 모델은 계속 증가했다. 두 번째는 초기에 평탄해졌다
나는 기존의 로컬 구성 두 가지를 사용했다: **DFlash2 추측 디코딩(speculative decoding)**을 사용하는 NVFP4 기반의 Qwen3.8 27B로, 요청당 512개의 출력 토큰을 생성했고, 이 시리즈에서 추측 드래프터가 없는 전문가 혼합(mixture-of-experts) 구성인 Q4_K_S 기반의 Qwen3.6 35B A3B로, 640개의 토큰을 생성했다.
이들은 모델, 양자화(quantization) 및 디코딩 경로(decoding path)에서 차이를 보입니다. 토큰 속도(token rates)는 품질 순위나 통제된 Dense 대 MoE 비교가 아닙니다. 유용한 비교는 각 모델이 자체 기준선 대비 어떻게 반응하는지입니다.
입력 토큰 8,000개, GPU ECC 비활성화(OFF), 클럭 오프셋 제로 상태에서 전력만으로 측정한 생성 속도는 다음과 같습니다:
27B + DFlash2: 70W에서 35.04 tok/s; 90W에서 47.05 tok/s; 106W에서 52.05 tok/s; 120W에서 54.18 tok/s.
35B A3B: 70W에서 84.97 tok/s; 90W에서 93.63 tok/s; 106W에서 96.21 tok/s; 120W에서 96.43 tok/s.
27B의 경우, 전력만으로 약 55% 더 높은 생성 처리량을 달성했습니다. 35B의 경우, 이득은 약 13.5%였으며, 그 대부분은 120W보다 낮은 전력에서 발생했습니다.
따라서 헤드라인의 67%는 전력 제한(power cap)만으로는 설명할 수 없습니다. 이는 전력과 클럭 튜닝을 결합하여 얻은 결과입니다. 여기에 한 가지 조건이 더 있습니다: 70W 기준선 역시 동일하게 수정된 VBIOS를 사용했으며, 오프셋은 제로였습니다. 이것은 깨끗한 공장 펌웨어 대 수정된 펌웨어의 A/B 테스트가 아니었습니다.
더 빠른 GDDR7이 다른 트레이드오프를 드러내다
도우미(helper)는 nvmlDeviceGetClockOffsets()와 nvmlDeviceSetClockOffsets()를 통해 P0 및 P2 성능 상태 모두에 오프셋을 적용한 후, 읽기 전용 검사(readback)를 수행했습니다.
전력 제한을 120W로 고정하고 코어 오프셋을 제로로 설정한 상태에서, 메모리 주파수를 각각 약 10%, 20%, 33.3% 증가시켰습니다.
27B 구성에서는 이러한 단계가 생성 속도를 4.4%, 6.5%, 5.0% 향상시켰습니다. 35B의 경우, 이득은 각각 **7.3%, 14.0%, 19.8%**였습니다. 이 백분율들은 70W 헤드라인 기준선이 아닌, 제로 오프셋 상태의 120W에서 시작합니다.
At 120 W with zero core offset, the 27B Qwen peaks at +20% memory frequency while the 35B Qwen keeps gaining up to the tested +33.3% boundary.
입력 토큰 8,000개; GPU ECC 비활성화(OFF); 120W 제한; 코어 오프셋 제로. 개별 셀은 1~3개의 요청을 포함합니다. 선은 예측이 아닌 측정값을 연결합니다.
27B 모델은 메모리 +20% 설정에서 57.70 tok/s를 생성했지만, +33.3%로 증가하자 56.91 tok/s로 하락했습니다. 더 높은 메모리 설정은 생성 중 실제 SM 클럭이 낮아지는 것과 일치했습니다. 공유 전력 예산 내에서 메모리와 컴퓨팅 자원이 경쟁하는 것이 그럴듯한 설명입니다. 이 테스트는 해당 메커니즘을 분리하지 못했으며, 작은 하락세(regression)는 더 많은 반복이 필요합니다.
35B 모델은 계속해서 성능이 향상되어 가장 높은 메모리 설정에서 115.56 tok/s에 도달했으며, 이는 자체 70W 기준선보다 약 36% 높은 수치입니다. 테스트된 경계에서의 최고 결과가 그 진정한 최적점이 어디인지 알려주지는 않습니다.
메모리 +20% 프로파일에 코어 오프셋(+180 MHz)을 추가했을 때 27B 모델의 관찰된 최고 생성 셀 성능인 58.53 tok/s가 나왔습니다. 코어 +360 MHz는 58.49 tok/s를 기록했는데, 이는 이 실험이 지원하는 정밀도에서는 사실상 동률이며 입력 처리가 더 빠릅니다.
이것은 '가장 큰 숫자를 선택하는 것'이 규칙으로 작동하지 않는 지점이었습니다.
생성 속도가 빠르다고 해서 대기 시간이 짧다는 의미는 아닐 수 있다
67%라는 헤드라인에는 역수(reciprocal)도 필요합니다. 초당 토큰 수가 67% 증가한다는 것은 고정된 출력 길이에 대해 대략 40%의 생성 시간 단축을 의미할 뿐입니다. 전체 요청이 67% 더 빨리 완료된다는 의미는 아닙니다.
LLM 응답은 측정할 최소 두 가지 단계가 있습니다. **Prefill(프리필)**은 입력을 처리합니다. **Decode(디코드)**는 출력을 생성합니다. 긴 프롬프트는 경과 시간에 프리필에 더 큰 영향을 미치며, 캐싱(caching)은 이 균형을 다시 변화시킵니다.
32,000개의 입력 토큰에서, 35B 모델의 균형 잡힌 프로파일(120W, 메모리 +20%, 코어 +360MHz)은 2,121.56 prefill tok/s와 82.07 generation tok/s를 측정했습니다.
메모리 중심 프로파일(메모리 +33.3%, 코어 오프셋 0)은 1,972.45 prefill tok/s와 82.28 generation tok/s를 측정했습니다. 이는 약간 더 빠르게 생성했지만 입력 처리는 더 느렸습니다.
입력 토큰 수 / prefill 속도 + 출력 토큰 수 / decode 속도 공식을 사용했을 때, 추정된 500 토큰 답변은 균형 잡힌 프로파일에서 21.18초, 메모리 중심 프로파일에서 22.30초가 소요되었습니다. 균형 잡힌 프로파일의 예상 총 시간은 약 5% 더 짧았습니다.
이 수치들은 페이즈율(phase rates)을 기반으로 계산된 것으로, 640 토큰을 생성한 실행 결과에서 외삽(extrapolating)한 것입니다. 이는 완전한 500 토큰 응답에 대한 직접적인 측정값은 아닙니다. 모델 로딩, 네트워크 시간, 스케줄링 및 도구는 이 계산 범위 밖에 있습니다. 이는 실제 애플리케이션을 측정하기 전에 프로필을 간추려 보는 방법일 뿐입니다.
마지막 14와트가 가져온 것
106W 대 120W를 더 자세히 검사하기 위해, 저는 각 모델의 로드된 인스턴스 내부에서 ABBA 시퀀스: 106 → 120 → 120 → 106W를 사용했습니다. 메모리는 +20%로 유지되었고, 코어 오프셋은 0으로 설정했으며, 전력 및 입력 길이 조합당 두 개의 요청을 보냈습니다.
이는 헤드라인 뒤에 있는 제로-오프셋(zero-offset) 전력 스윕이나 +180MHz 코어 설정과는 다릅니다. 설정을 번갈아 가며 변경하는 것은 약한 선형 드리프트(linear drift)를 균형 있게 맞추는 데 도움이 되지만, 모든 변동의 원인을 제거하지는 못합니다.
27B 모델은 생성 처리량(generation throughput)이 약 8.6% 향상되었습니다. 35B 모델은 입력 길이에 따라 **2.2–3.0%**가 증가했습니다. 측정된 GPU 와트당 생성 처리량은 네 가지 비교 모두에서 2.47–7.30% 감소했습니다.
In paired ABBA runs, moving from 106 to 120 W raises generation throughput about 8.6% on 27B and 2.2–3.0% on 35B, while generation throughput per GPU watt falls.
GPU 전력은 약 1Hz 간격으로 샘플링된 원격계측(telemetry)을 사용했습니다. 이는 전체 서버 전력이나 완료된 애플리케이션 작업당 에너지가 아닌, 측정된 GPU 페이즈를 비교한 것입니다.
만약 이 워크로드에서 대기 시간을 단축하는 것이 우선순위라면, 낮은 GPU 효율성을 감수하는 것이 합리적인 절충안일 수 있습니다. 하지만 성능 데이터만으로는 전기적 질문을 확정할 수 없습니다.
새로운 카드 없이도 업그레이드는 비용이 있었다
이 GPU는 PCIe 슬롯을 통해 전력을 공급받습니다. 120W 제한은 표준 75W 슬롯 예산을 초과합니다. 90W 및 106W 설정 역시 마찬가지입니다. 메모리에 수정된 이미지를 로드하는 것이 보조 커넥터(auxiliary connector)를 추가하거나 마더보드의 물리적 전류 처리 능력을 증가시키지는 않습니다.
해당 그리드에서 기록된 가장 높은 GPU 온도는 92°C였습니다. 저는 VRAM, VRM 또는 슬롯 접점 온도 자체를 직접 측정하지 않았습니다. 성공적인 벤치마크와 GPU 센서 판독값이 장기적인 전기적 안전성이나 안정성을 보장하는 것은 아닙니다. 이 설정들은 다른 사람의 기계를 위한 권장 사항이 아닙니다.
총 158개의 벤치마크 요청이 있었습니다. 이 중 GPU ECC OFF가 적용된 것이 79개, ON이 적용된 것이 79개였습니다. 여기서 논의되는 성능 결과는 ECC OFF를 사용했습니다. 개별 집계 셀은 단지 1~3개의 요청만 포함합니다. 27B 기준선(baseline)은 요청이 하나이며, 가장 잘 조정된 셀은 두 개입니다. 35B 기준선과 최적 생성 셀은 각각 두 개의 요청을 가지고 있습니다. 이것은 한 장치에 대한 탐색적인 그리드였으며, 헤드라인 결과의 158회 반복이 아닙니다.
호스트는 Ryzen 7 7700, ASRock B650M Pro RS, 32 GB DDR5-6000 CL30 및 Lexar NM790 2 TB SSD를 사용했습니다. 이 시스템은 Debian 13.7, 커널 6.12.38+deb13-amd64, 그리고 NVIDIA Open 615.71.10으로 구동되었습니다. 오버클럭되지 않은 RTX 2000 Ada 16 GB도 함께 사용되었습니다. 측정은 2026년 10월 24일~25일에 수집되었습니다.
저는 후보로 선정된 프로필들을 반복하고, 공장 펌웨어 기준선(factory-firmware baseline)을 추가하며, 벽면 전력(wall power)과 전원 경로를 직접 측정하고, 실제 애플리케이션 요청 시간을 측정한 후에야 어떤 프로필을 지속 가능한 선택으로 간주할 것입니다.
저는 다른 GPU를 구매하지 않고도 67% 더 많은 생성 처리량(generation throughput)을 얻었습니다. 이 숫자가 의미를 가지게 하려면 더 많은 작업이 필요했습니다. 즉, 요청된 제한 사항과 실제 동작을 분리하고, 두 개의 추론 단계(inference phases)를 테스트하며, 두 번째 모델이 무언가 다른 것을 원한다는 점을 받아들이는 과정이었습니다.
GPU는 그대로였습니다. "가장 빠르다"는 답은 작업(job)에 따라 달랐습니다.
본 기사는 제가 piszczek.pl에 처음 발표했던 원본 실험인 '작은 Blackwell에서 초당 67% 더 많은 토큰'을 각색한 것입니다. 이는 RTX PRO 4000 Blackwell SFF에 대한 저의 자체 측정값을 기반으로 합니다. GPU 잠금 해제 도구(GPU unlocking tools) 관련 보고서가 이 실험을 촉발시켰으며, 메모리 내 VBIOS 방식에는 위에서 설명된 Panchovix의 Linux VBIOS Vix Loader를 사용했습니다. 방법론, 측정 결과 및 한계점은 여기에 포함되어 있습니다. 아래 CSV 파일들은 독립적인 확인을 위한 보조 데이터를 제공합니다.
측정 데이터 (Measurement data)
- 개별 벤치마크 요청 (CSV)
- 모델 및 튜닝 프로필별 집계 결과 (CSV)
- GPU ECC 비활성화 상태에서 8K 입력의 주요 결과 (CSV)
- 기준 측정 및 드리프트 제어 (CSV)
- 쌍별 ABBA 전력 비교 (CSV)
- 측정된 위상 속도에서 추정된 응답 시간 (CSV)
