PCIe 대역폭은 중요하지 않다 (벤치마크)
요약
본 기사는 GPU와 칩셋 연결 방식별 성능을 비교한 벤치마크 결과를 공유합니다. PCIe4.0x16, Thunderbolt 3, M.2 등 다양한 인터페이스를 통해 RTX3090에 LLM 추론 작업을 수행했으며, 전반적으로 대역폭 차이가 성능에 미치는 영향은 크지 않음을 보여줍니다.
핵심 포인트
- Thunderbolt 3 연결이 가장 낮은 대역폭을 보였으나, 실제 성능에는 큰 영향을 주지 않았습니다.
- 다양한 인터페이스를 테스트했음에도 불구하고, LLM 추론 작업에서는 PCIe 대역폭의 중요도가 낮았습니다.
- 텐서 분할 등 다중 GPU 통신 시에는 더 많은 GPU 간/PCIe 통신이 발생할 수 있어 주의가 필요합니다.
- llama-cpp용으로는 Thunderbolt eGPU 구성도 실현 가능성이 높습니다.
칩셋 x4 슬롯에 GPU를 장착할지 고민하는 분들께 참고용 정보입니다. 저는 RTX3090에서 Qwen3.6-27B-UD-Q5_K_XL.gguf 모델을 실행하고 있습니다. ctx=100000, b=512, ub=256, kv-cache=Q8_0, spec-draft mtp n-max 2로 설정했습니다. 15,000 토큰의 텍스트를 로드하여 요약본을 생성하게 했습니다. PCIe4.0x16 -> 3090: PP: 1007 T/s, TG: 49 T/s Thunderbolt 3 -> 3090: PP: 1034 T/s, TG: 50 T/s M.2 -> PEX -> 3090: PP: 763 T/s, TG: 42 T/s Thunderbolt 3 연결이 가장 낮은 대역폭을 가지고 있습니다. 이는 Alpine Ridge(~22Gbit) 수준으로 PCIe3.0x4보다도 낮습니다. 성능에는 영향을 미치지 않습니다. 또한 M.2 라이저(4.0x4)를 PEX(PCIe 스위치/멀티플렉서)에 연결하고, 이를 3090에 연결한 설정도 했는데, 이 경우 최악의 성능을 보였습니다. 하지만 제 추측으로는 PEX 자체가 아니라 M.2 라이저가 PCIe4.0 속도에서 많은 오류를 일으키기 때문인 것 같습니다. 유일한 주의점은 텐서 분할(tensor splitting)이 필요한 다중 GPU 설정에서는 더 많은 GPU 간/PCIe 통신이 발생할 수 있다는 것입니다. 곧 벤치마크 해보겠습니다. 하지만 llama-cpp용으로는 thunderbolt eGPU가 완전히 실현 가능합니다.
제출자: /u/chris_0611 [링크] [댓글]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기