Qwen3.6 27B 모델과 dual RTX 5060 Ti 16GB 환경에서 vLLM 실행: ~60 tok/s 성능 및 204k 컨텍스트 지원

요약

본 기사는 로컬 환경에서 Qwen3.6 27B 모델을 dual RTX 5060 Ti 16GB GPU 조합과 vLLM 프레임워크를 사용하여 실행한 성능 테스트 결과를 공유합니다. 이 설정은 최대 204k의 방대한 컨텍스트 길이를 지원하며, 다양한 컨텍스트 길이(8K, 32K)에서 안정적으로 50~66 tok/s의 높은 추론 속도를 달성했습니다. 테스트 결과는 vLLM과 최신 CUDA/Torch 버전을 활용하여 대규모 컨텍스트 처리 능력을 입증하며, 특히 메모리 관리 및 다양한 파라미터 설정에 대한 실질적인 가이드를 제공합니다.

핵심 포인트

• dual RTX 5060 Ti (총 32GB VRAM) 환경에서 Qwen3.6 27B 모델 구동 가능성 입증.
• vLLM을 사용하여 최대 204k 컨텍스트 길이를 성공적으로 지원하며, 높은 메모리 효율성을 보임.
• 8K~32K 컨텍스트 길이에서 안정적인 50-66 tok/s의 추론 속도를 달성함.
• 대규모 컨텍스트 처리를 위해 `gpu_memory_utilization` 및 `--max-model-len` 같은 vLLM 파라미터 설정이 중요함.
• 최적의 성능을 위해서는 최신 CUDA, Torch nightly 버전과 vLLM 버전을 사용하는 것이 유리함.