요약

본 기사는 NVLink로 연결된 4개의 RTX 3090 GPU 환경에서 Qwen 3.6 27B 모델의 MTP(Multi-Tenancy Performance) 벤치마크 결과를 분석합니다. 특히, 두 개의 GPU 쌍을 NVLink로 고정하여 사용하는 것이 PCIe를 통해 동일한 구성을 구현하는 것보다 훨씬 높은 처리량을 보여주었습니다. 이 테스트는 대규모 언어 모델(LLM)의 멀티 테넌시 환경에서 하드웨어 연결 방식이 성능에 미치는 영향을 명확히 보여줍니다.

핵심 포인트

• NVLink를 사용하여 GPU 쌍을 고정하는 것이 PCIe 기반 구성보다 LLM 추론 시 처리량(throughput)을 크게 향상시킨다 (동시성 1에서 +25%, 동시성 4에서 +53%).
• LLM의 멀티 테넌시 성능 최적화에는 GPU 간의 고속 인터커넥트 기술(NVLink 등)이 필수적이다.
• 단순히 더 많은 GPU를 추가하는 것만으로는 성능 향상을 기대하기 어려우며, 적절한 하드웨어 구성과 연결 방식이 중요하다.