해외 기사를 번역기로 번역 하였습니다 오역이 있을수 있으니 원문을 참고 하세요
새로운 도구는 RTX 3090 Ti의 BF16 연산 성능을 87.5 FLOPS에서 157 TFLOPS로 향상시키는 동시에 vLLM 추론 속도를 최대 36%까지 개선하는 데 도움이 된다고 합니다.
오픈 소스 프로젝트 "GPU Unlock"이 NVIDIA의 GeForce GPU 소프트웨어 수준 제한을 우회하여 전문가급 컴퓨팅 기능을 활성화합니다.
NVIDIA의 소비자용 GeForce 그래픽 카드에 적용된 소프트웨어 수준의 제한을 우회하는 새로운 방법이 발견되었습니다. "GPU Unlock"이라는 새로운 오픈 소스 프로젝트를 통해 가능해진 이 기술은 일반적으로 전문가용 워크스테이션 GPU에만 허용되는 더 높은 반정밀도 부동 소수점 연산 성능에 GPU가 접근할 수 있도록 해줍니다.
프로젝트 개발자인 "zagitta"에 따르면, NVIDIA는 전문가용 워크스테이션 카드와 동일한 GPU 아키텍처를 사용함에도 불구하고 소비자용 GeForce GPU에서 특정 컴퓨팅 기능과 가상 GPU(vGPU) 기능을 제한하고 있습니다. NVIDIA는 이러한 기능을 더 고가의 Quadra, Testa 및 RTX A 시리즈 GPU에만 제공합니다. 그러나 이 새로운 프로젝트는 기존 드라이버와는 다른 접근 방식을 취합니다.
"GPU Unlock"은 Linux 커널 내의 NVIDIA 드라이버 모듈을 동적으로 패치하여 GPU의 물리적 PCIe 장치 ID 요청을 가로챈 후, 반환된 식별자를 호환되는 전문가용 GPU의 식별자로 대체합니다. 이를 통해 드라이버는 일반 소비자용 GeForce GPU를 전문가용 NVIDIA 카드로 인식하도록 속여 제한을 우회하고 추가적인 컴퓨팅 기능을 활용할 수 있게 됩니다.
개발사의 주장대로라면 성능 향상은 상당합니다. 암페어 아키텍처 기반 GPU인 GeForce RTX 3090 Ti의 경우, BF16 연산 성능이 87.5 TFLOPS에서 무려 157 TFLOPS 로 향상되어 80% 라는 놀라운 증가율을 보입니다. TF32 성능 또한 42.6 TFLOPS에서 82.6 TFLOPS로 거의 두 배 가까이 증가했습니다. GeForce RTX 3080 역시 이러한 성능 향상의 혜택을 받아 FP16/BF16 성능이 65 TFLOPS에서 110~ 113 TFLOPS 로 향상되었으며 , 전력 소비량은 기본 320W로 유지됩니다.
이러한 이점은 vLLM 추론 엔진에서도 나타났는데, 이 도구를 사용하면 장기 컨텍스트 사전 채우기 처리 속도가 33~36% 향상되고 첫 번째 토큰 수신 시간(Time-To-First-Token) 지연 시간이 25% 감소합니다. 그러나 디코딩 성능은 메모리 대역폭 제한 문제를 해결하지 못하기 때문에 거의 변화가 없었습니다.
다만, 현재 GPU Unlock은 Linux만 지원하며 GeForce GTX 900, GTX 1000, RTX 20, RTX 30 시리즈 GPU와 호환됩니다. RTX 40 및 RTX 50 카드는 지원되지 않습니다.
