2 x 5070ti 환경에서 Qwen 27B 전체 설정 및 통계

요약

2 x 5070ti 환경에서 Qwen 27B 모델을 최적화하여 실행하는 설정과 성능 통계를 공유합니다. vLLM의 KV 캐시 수정 사항을 통해 생성 속도 저하 없이 동시 스레드 실행과 대규모 컨텍스트 확보가 가능함을 보여줍니다.

핵심 포인트

• 2 x 5070ti 환경에서 Qwen 27B 모델 최적화 실행
• vLLM cu129-nightly 기반 KV 캐시 성능 향상 확인
• 디코딩 속도 최대 87tps 및 대규모 컨텍스트 지원
• 로컬 에이전트 작업을 위한 쾌적한 메모리 환경 구축