Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
RDNA4 GPU 환경에서 vLLM의 성능을 극대화하기 위한 전용 Docker 이미지와 최적화 기술을 소개합니다. 커스텀 커널과 양자화 기술을 통해 처리량을 100% 이상 향상시킬 수 있는 방법을 제공합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Reddit AI Engineering의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기당신은 빠른 성능을 기대하며 RDNA4를 구매했지만, vLLM에서는 그 성능이 나오지 않습니다. 저도 그 기분을 압니다. 기본 상태의 vLLM은 RDNA4에서 완전히 형편없습니다... 여기 해결책이 있습니다. 현재 이전의 커스텀 커널(custom kernels)을 확장 및 포팅하여, 이전에는 사용할 수 없었던 모델들을 사용할 수 있게 만들고 있습니다: https://hub.docker.com/repository/docker/tcclaviger/vllm22/general 카드를 직접 읽어보거나 AI에게 요약을 시켜보세요. 어쨌든 이 방식은 RDNA4에서 기본 vLLM 대비 처리량(throughput)을 100% 이상 향상시킬 수 있는 3가지 튜닝 포인트 중 2가지를 다룹니다. Tunableop은 직접 찾아내야 합니다 (또는 AI에게 물어보세요). 찾아내기 꽤 쉬우며, 여기서 --tune 플래그가 제공하는 GEMM 튜닝을 수행한 후에는 보통 약 5% 정도로 영향이 더 적습니다 (이미지 내에 이미 많은 RDNA4 최적화 설정이 포함되어 있습니다). 현재 메인라인 모델들을 위한 커스텀 5bpw 양자화기(quantizer)가 포함되어 있으며, 시간이 지남에 따라 더 추가될 예정입니다. CPU에서의 양자화, 멀티 GPU, 싱글 GPU, 대용량 RAM 또는 소용량 RAM 환경 등 거의 모든 케이스가 커버됩니다. 직접 시간을 내기 어렵거나 방법을 모르시는 분들을 위해, MXFP4_16 양자화(quantization)가 적용된 모델 링크를 여기에 게시하겠습니다. 시작은 다음과 같습니다: https://huggingface.co/tcclaviger/Step-3.7-Flash-240REAP-MXFP416 (이 모델은 fp8 kv를 위한 kv calibrated scales를 가지고 있습니다) https://huggingface.co/tcclaviger/gemma-4-31B-it-MXFP416-MTP https://huggingface.co/tcclaviger/Qwen3.6-27B-MXFP416-MTP https://huggingface.co/tcclaviger/Qwen3.6-35B-A3B-MXFP416-MTP 고지 사항: 저는 아무것도 판매하지 않습니다. 누구와도 제휴 관계가 없으며, 이것은 저의 취미 프로젝트입니다.
그저 RDNA 4를 빠르게 만드는 것뿐입니다, 받아들이든 말든 마음대로 하세요 😛
로드맵 (ROADMAP):
포함 사항 (INCLUDED):
추신 (PS): 네, 결국 이미지를 다듬어서 약 33GB가 아닌 12GB 정도의 :latest 및 :dev 버전을 만들 예정입니다.
제출자: /u/Sea-Speaker1700 [link] [comments]