Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본문은 NVIDIA GPU의 성능 제한(스로틀링)을 우회하는 기술적 논의를 다룹니다. 특정 도구를 사용하여 FP/BF16 명령 발행 속도 제한을 해제함으로써 LLM 학습 및 추론 성능을 크게 향상시킬 수 있습니다. 다만, 이 과정에서는 높은 전력 공급과 강력한 냉각 시스템 확보가 필수적으로 요구됩니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 GeekNews의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기차트를 제대로 읽은 거라면 3090에서 전반적으로 65~80% 속도 향상을 얻을 수 있다는 뜻인가? 아니면 특정 모델과 양자화 방식에만 해당하는가?
직접 만든 프로젝트이지만, 취약점 악용 기법 자체가 내 아이디어인 것은 아님. NVIDIA 드라이버를 패치하는 번거로움 없이 사용할 수 있도록 묶은 도구임.
독립형 UEFI 모듈로 실행된 뒤 운영체제로 체인로딩하는 CMP90/50 Windows 제한 해제 도구에서 처음 영감을 받았음. 질문이 있으면 답변하겠음!
GB10(DGX Spark) 에도 비슷한 제한이 있고, 이런 조치가 필요한지 궁금함.
수정: 추가 설명을 보니, 제한이 있더라도 중국에서 해결해 공개해 주지 않는 한 가까운 시일 내에는 어려워 보임.
27B 모델을 즐겨 쓰는데, 어젯밤 함께 일하는 개발자가 벤치마크에서 약 3.2배인 초당 133토큰을 달성했음. 이 정도면 비용 계산이 달라짐.
패치된 드라이버는 특히 여러 종류의 카드를 함께 쓸 때 골칫거리라, 다른 수정 도구도 이런 접근법을 쓰면 좋겠음. 이제 4090도 부탁함!
실제로 효과가 있지만 주의할 점도 있음. 카드 온도가 편안하게 받아들이기 어려운 수준까지 올라갈 수 있고, 일부 카드에서는 제대로 효과를 보려면 최대 전력을 450W로 높여야 함. 이는 기본 냉각 장치의 설계 범위를 크게 넘으므로 냉각을 보강하는 편이 좋음.
기존 P2P 수정 도구와 함께 쓸 수 있다는 점은 좋음. 이 도구가 먼저 로드되며, 둘이 서로 간섭하지는 않는 것으로 보임.
좀 더 세밀하게 볼 필요가 있음. 이 도구는 특정 명령어의 발행 빈도를 절반으로 제한하는 비트 2개만 바꿈. NVIDIA는 전문가용·데이터센터용 카드에서만 이 명령어를 최대 빈도로 발행하도록 허용함.
연산량이 늘면 전력도 더 필요하지만, 카드는 전력 한도를 지키기 위해 동작 주파수를 낮춤. 기본 전력 한도에서는 최대 발행률에 도달하지 못하는 구간이 생기지만, 남는 여유는 작업 부하에 따라 크게 달라짐.
주파수 조절에는 온도도 반영되므로, 대체로 온도가 조금 올라가는 대신 상당한 성능 향상을 얻을 수 있음. 3090 두 장에서 한 달째 문제없이 사용 중이지만, 둘 다 수랭이기는 함.
온도가 불편할 만큼 높아져야 한다는 부분을 설명해 줄 수 있는가? 내 GPU에서는 전력 한도 변경이 필요하지 않았음. 최대 전력을 쓰는 시간이 길어질 수는 있어도 여전히 한도 안에서 작동함.
해당 도구들도 작동하지만, 본문의 도구와 달리 다른 수정 도구와 함께 쓰기 어렵고 특정 드라이버 버전으로 고정해야 함.
소비자용 하드웨어로 신경망을 연구하는 입장에서 이 제한 해제는 정말 값진 도구임. NVIDIA가 동일한 하드웨어에 소프트웨어로 걸어 둔 제품 등급별 제한을 없애, LLM 프리필, 이미지·영상 생성, 일반적인 신경망 학습처럼 연산 성능이 병목인 작업을 개선해 줌.
나는 RTX 50 시리즈를 쓰고 있어서 아직 이런 무료 성능 향상은 누리지 못함. 추가 역공학으로 50 시리즈에서도 제한 해제가 가능한지 밝혀지길 기다리는 중임.
Hopper와 Blackwell은 부팅 구조가 다르고 보안 계층도 더 많아서, 50 시리즈 지원을 크게 기대하지는 않는 편이 좋겠음.
3060에서 nanochat 학습이 약 6% 빨라졌음. 다만 저장소는 Linux 커널 6.x 기준이고 나는 5.15를 쓰고 있어서 추가 작업이 필요했으며, Claude Code로 코드 수정과 시작 스크립트 등의 장애물을 해결함.
현재는 분명히 170W 전력 한도가 병목이지만, 카드를 벽돌로 만들거나 불태울 생각은 없음.
실제 성능 향상은 홍보 수치보다 훨씬 작음. 200W 제한에서 연산 처리량은 25% 증가하지만, 주로 프리필에 효과가 있고 디코딩에는 효과가 적어 실제 향상은 7~8% 수준임.
최대 전력 테스트는 3090 네 장에서 Qwen 27B Int4를 실행하고, vLLM의 배치를 최대한 채워 GPU 성능을 끝까지 끌어낸 벤치마크임.
다음 버전에서는 이런 일을 막도록 서명된 펌웨어가 해당 설정을 지정하게 될 것임.
펌웨어는 이미 완전히 암호화되어 있음. 다만 NVIDIA가 공개해 온 암호화된 디버그 이미지를 공개된 테스트 키 중 하나로 복호화할 수 있었고, 이 이미지가 실제 배포용 펌웨어와 충분히 비슷해서 취약점 공격을 구성하는 데 활용할 수 있었음.
이번에는 스택에 쓰기가 가능한 DMA 버퍼 오버플로를 ROP로 악용함. 따라서 서명되지 않은 코드를 실행하지 않고도 코드 실행 흐름을 제어할 수 있음.
적용되는 작업 부하는 제한적임. 예를 들어 학습은 메모리 대역폭이 병목인 경우가 많음. 소비 전력에 어떤 영향을 주는지도 궁금함.
학습은 연산 성능이 병목임. 메모리 대역폭이 병목이라면 배치 크기를 늘려 병렬성을 더 활용해야 함.
추론의 프리필에도 유용함. 정확히 어떤 커널을 쓰는지와 프리필 크기에 따라 vLLM에서 최대 30%의 성능 향상을 얻을 수 있음.