엔비디아 RTX 20, 30, 40 시리즈 GPU의 절반 속도 AI 스로틀 제거 해킹

모더들(Modders)이 펌웨어 취약점(firmware exploit)을 이용해 엔비디아 RTX 20, 30, 40 시리즈 GPU에 부과된 절반 속도의 AI 성능 제한을 제거하는 방법을 발견했다고 VideoCardz가 보도했습니다. 이 제한이 없으면, RTX 4090은 최대 텐서 속도(peak tensor rate)를 두 배로 달성할 수 있으며, RTX 3090 Ti의 경우 행렬 연산(matrix math)이 최대 80%까지 향상될 수 있으며, 다른 카드들도 성능 향상을 보일 것으로 예상됩니다. 다만 실제 워크로드에서는 RTX 4090의 두 배로 증가한 최대치만큼 큰 이득을 얻기는 어려우며, 채팅봇 토큰 속도는 메모리 대역폭(memory bandwidth)에 따라 달라지기 때문에 거의 비슷하게 유지됩니다.

영향을 받은 모든 GeForce 세대에 걸쳐 엔비디아는 자체 발표 사양에 따르면 FP32-accumulate 연산이 각 카드의 FP16-accumulate 속도의 절반으로 작동하도록 제한을 부과했습니다. 이 제한은 Turing 및 Ampere 프로 카드에는 적용되지 않습니다. 이 잠금 해제는 사용자들에게 네이티브 행렬 연산 처리량(native matrix-math throughput)을 되돌려주어 프롬프트 처리 및 이미지 생성 속도를 높일 수 있습니다.

세 가지 별도의 프로젝트가 세대별 잠금 해제를 제공하며, 각 프로젝트는 자체 비공식 Linux 모듈을 가지고 있는 반면, 실험적인 Windows 빌드는 다른 접근 방식을 추구합니다. 카드 커버리지는 세대에 따라 다르며, gpu-unlock은 Ampere를 처리하고 GA102/GA103/GA104/GA106 시리즈 ID를 나열합니다. Ada 포크인 gpu-unlock-ada는 RTX 4090을 지원하며, 실험적으로 4090 D, 4070 Ti Super, 그리고 4060 Ti 16GB를 커버합니다. turing-unlock 프로젝트는 gpu-unlock에서 각색되었으며 RTX 2080 Ti와 함께 작동합니다. 상세 내역은 표 1을 참조하십시오.

어떤 GeForce 카드가 각각의 잠금 해제를 지원하는지
|

다른 Turing GPU는 테스트되지 않았으며, Turing이 BF16을 지원하지 않기 때문에 FP16만 가능합니다.

|
|
RTX 30 (Ampere)
| gpu-unlock
| RTX 3090 Ti, 3090, 3080 10GB, 3080 20GB (메모리 수정됨), 3070, 3060 12GB
| RTX 3070 Ti 및 GA103 카드는 테스트되지 않았으며; RTX 3080 Ti 20GB OEM 카드는 절반 속도를 유지합니다.
|
|
RTX 40 (Ada Lovelace)
| gpu-unlock-ada
| RTX 4090
| RTX 4090 D, 4070 Ti Super, 4060 Ti 16GB (실험적, 카드별 하나씩)
|
|
RTX 50 (Blackwell)
| 없음
| —
| 지원되지 않음; gpu-unlock 개발자는 이를 범위를 벗어난 것으로 간주합니다.

카드의 성능 향상 정도

최대 두 배의 증가는 텐서(tensor) 속도에 대한 것이며, Ada fork 개발자의 RTX 4090은 FP16에서 165.6 TFLOPS에서 331.6 TFLOPS로, BF16에서는 165.5 TFLOPS에서 330.6 TFLOPS로 향상됩니다. gpu-unlock-ada README에 따르면, 독립적인 소유자의 행렬 곱셈(matrix-multiply) 벤치마크에서 cuBLAS GEMM 중앙값은 각각 12–34%, 최대 20%의 개선만 보였습니다. 별도의 데이터 포인트로 Windows 환경의 RTX 4070 Ti는 +80.1%와 +76.4%의 더 큰 행렬 곱셈 이득을 보였는데, 이는 전력 제한(power limits) 때문일 수 있습니다.

행렬 곱셈 벤치마크에서 테스트된 RTX 3090 Ti는 수정된 Nvidia 드라이버를 사용한 사용자 테스트를 기반으로 FP16에서 +35%, BF16에서 +80%, TF32에서 +94%의 점수를 기록했습니다. gpu-unlock README에는 사용자 보고서에 따른 BF16 행렬 곱셈 이득이 RTX 3090의 경우 +25–67%, 3080 10GB의 경우 +70–73%, 메모리 수정된 20GB 버전의 경우 +56–59%, 3070의 경우 +73–81%, 그리고 3060 12GB의 경우 약 +80%로 나열되어 있으나, 직접적으로 비교할 수는 없다고 명시하고 있습니다. 전력 제한은 “매우 중요합니다”: 가장 낮은 수치인 +25%는 225W로 제한된 카드를 사용했을 때 나온 것입니다. Ampere 아키텍처의 경우, LLM prefill은 14–36% 개선되었으며, 확산(diffusion) 및 FlashAttention이 속도를 높였지만, LLM 디코드(decode)와 INT8은 “거의 변화가 없었습니다.”

22GB 메모리 모드가 적용된 RTX 2080 Ti는 Dell OEM 카드(최대 전력 제한 250W)에서 FP16 행렬 곱셈 개선도를 +36%에서 +64%까지 보였으며, 크기에 따라 달라졌습니다. BF16은 Turing 아키텍처에 BF16 하드웨어가 없기 때문에 영향을 받지 않았습니다. 전력 제한이 260W인 사용자 변형 카드는 +59%의 개선도를 보였습니다. 별도의 프로젝트인 KohakUnlock을 통해 Leadtek 2080 Ti 22GB 카드에서는 명령어율 테스트에서 85%의 개선도가 관찰되었으며, 동일 모델의 다른 잠긴 카드와 비교했을 때 최적 행렬 곱셈 중앙값은 +53%였습니다.

KohakUnlock의 README에는 “2배의 애플리케이션/게임 속도 향상을 주장하는 것은 아니다”라고 명시되어 있습니다. 세 세대에 걸친 모든 수치에 대한 상세 내용은 표 2를 참고하십시오. turing-unlock README는 이 모드가 “하드웨어 손상을 입힐 수 있다”고 언급하고 있으며, KohakUnlock은 여기에 “GPU 또는 호스트가 멈추거나(hang), 부팅을 방해하거나, 데이터를 손상시키거나, 하드웨어를 손상시킬 수 있다”고 추가 경고하며 주의를 당부합니다.

행렬 곱셈 벤치마크 성능 향상 (잠금 해제 vs. 기본 사양)

|
| RTX 2080 Ti 22GB mod (Leadtek) |
| FP16 |
| +53% |
| KohakUnlock; 잠긴 카드 대비 최고의 중간 성능 |
| RTX 2080 Ti 11GB (ASUS, stock) |
| FP16 |
| +77% |
| haohervchb pre-boot loader |

익스플로잇 작동 방식

gpu-unlock의 설명에 따르면, 속도 제한(rate limits)은 호스트 드라이버가 쓸 수 없는 두 개의 “속도 선택기(speed selector)” 레지스터에 존재합니다. 하지만 Nvidia의 서명된 SEC2 “Booter” 펌웨어에는 스택 버퍼 오버플로우(stack buffer overflow) 취약점이 있어, 이를 악용하여 “헤비 시큐어(heavy secure)” 모드에서 코드를 실행할 수 있습니다. 이 취약점은 Nvidia가 공지한 공개 테스트 키로 암호화된 디버그 Booter를 통해 발견되었습니다. V67 페이로드와 함께 4바이트 쓰기 작업 한 번만으로 권한 마스크(privilege mask)가 열리며, 호스트는 전체 속도를 설정할 수 있게 되고, 모듈은 Nvidia 드라이버가 장치를 바인딩하기 전에 카드를 재설정합니다.

이 근본적인 버그는 Jon Pry가 Zenodo에 6월에 발표한 “A Canary in the Crypto Mine: Defeating Stack Protection in a GPU Secure Coprocessor”라는 글에서 설명되었습니다. 스택 오버플로우는 Heavy Secure Falcon의 CMP 170HX에서 발견되었으며, V67 상수는 WildFlash1st/cmp90hx-unlock에서 가져왔습니다. 프리드라이버 타이밍 gpu-unlock은 WildFlash1st의 별도 Windows EFI 부트로더인 cmp90hx-unlock-for-windows에서 나온 것으로 보이며, 이 익스플로잇에 대한 가장 잘 알려진 사용 사례는 CMP 170HX용 the CMP Unlocker입니다. gpu-unlock의 유지 관리자인 Zagitta는 _Hacker News_에서 이 프로젝트가 자신들의 작업이지만 “익스플로잇 자체는 결코 자신의 아이디어가 아니며”, 언락은 필요한 2비트만 ‘플립(flip)’하는 것이라고 말했습니다.

Zagitta는 RTX 40 지원이 진행 중이며 이미 포크(forks)들이 해당 카드를 언락하고 있다고 밝혔습니다. 또한 Zagitta는 적어도 현재로서는 Hopper와 Blackwell 카드는 “이 접근 방식의 범위를 벗어난다”고 덧붙였습니다.

Ada 포크(fork)에 따르면 다른 보드들은 “미검증 상태로 남아 있으며” 공유 펌웨어(firmware)는 “테스트되지 않은 카드에 대한 지원을 확립하지 않는다”고 합니다. 마찬가지로 turing-unlock 프로젝트 역시 테스트되지 않은 Turing ID 목록을 가지고 있습니다. GA103 및 대부분의 Ada와 Turing 카드는 여전히 미흡한 부분이 남아있습니다. 현재 프로젝트들 중 어느 것도 로드맵(roadmap)을 포함하고 있지는 않지만, gpu-unlock이 GPU 소유자들에게 호환성 보고서(compatibility reports)를 요청함에 따라 데이터가 수집되고 있습니다.