듀얼 RTX 3090에서 P2P 모드 활성화; 전후 수치 비교 (Qwen2.5-27B INT4, 256k ctx)
요약
듀얼 RTX 3090 시스템에서 P2P(Peer-to-Peer) 모드 활성화에 따른 성능 변화를 벤치마크한 결과입니다. Qwen2.5-27B 모델을 활용해 테스트했으며, 설정의 실질적인 효용성을 검증했습니다.
핵심 포인트
- 듀얼 RTX 3090(PCIe 4.0 8x/8x) 환경에서 P2P 활성화 테스트 수행
- Qwen2.5-27B INT4 모델 및 256k 컨텍스트 기반 벤치마크 실시
- 매일 추론 작업을 수행하는 사용자에게는 설정할 가치가 있음
- 단순히 이 결과를 위해 추가 GPU를 구매하는 것은 권장하지 않음
단순히 믿는 대신, 듀얼 3090 시스템(PCIe 4.0 8x/8x)에서 P2P(Peer-to-Peer)를 활성화하는 것이 실제로 의미가 있는지 드디어 테스트해 보았습니다. nvbandwidth와 표준 디코드/소크(decode/soak) 테스트 스크립트를 사용하여 전후로 5번의 벤치마크 패스를 실행했습니다.
매일 추론 (Inference)을 수행한다면 4~5시간의 씨름을 할 만한 가치가 있습니다.
테스트 사이에 드라이버 버전도 변경되었으므로 정확한 수치는 어느 정도 감안해서 보셔야 하지만, 결과의 방향성은 다른 사람들이 보고한 내용과 일치합니다.
이러한 결과를 얻기 위해 또 다른 3090을 구매하는 것은 추천하지 않습니다. 대신 돈을 아끼세요.
와, 듀얼 GPU로 게임하던 2013년 느낌이 나네요. SLI라고 불렀던 것 같은데 맞나요?
submitted by /u/Mr-serial_killer
[link] [comments]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기