Qwen 27B 로 Reddit 숫자 복제 불가: 3090TI 를 사용한 실험 결과 분석

요약

작성자는 3090 GPU 환경에서 Qwen 27B와 같은 대규모 언어 모델(LLM)의 추론 속도에 대한 높은 성능 수치를 보고하는 다른 사용자들과 자신의 결과를 비교하며 어려움을 겪고 있습니다. 그는 llama.cpp를 사용하여 다양한 GGUF 설정과 컨텍스트 길이(50k)에서 테스트를 진행했으며, 특정 최적화된 조합을 통해 약 18~19 tok/s의 성능을 달성했습니다. 이후 Claude Sonnet 4.6에 로그 분석을 의뢰한 결과, 실제 병목 지점은 GPU가 아니라 각 토큰 생성 단계마다 발생하는 CPU 측의 SSM 상태 회귀(State Recursion) 및 데이터 동기화 작업이 핵심이며, 이를 가속하기 위해서는 AVX-VNNI/AVX-512와 같은 최신 SIMD 명령어 세트를 활용하는 것이 중요하다고 분석되었습니다.

핵심 포인트

• Qwen 27B 모델을 3090 GPU에서 구동할 때, 높은 추론 속도(tok/s)를 달성하기 위해서는 단순한 VRAM 용량 확보 이상의 복잡한 최적화가 필요합니다.
• 50k 컨텍스트 길이와 같은 대규모 입력 처리 시, 성능은 주로 CPU 측의 SSM 상태 회귀 및 데이터 동기화 작업에 의해 제한됩니다.
• llama.cpp 기반 추론에서 병목 현상의 주범은 GPU 연산 자체가 아니라, 각 토큰 생성 단계마다 발생하는 CPU의 순차적 컴퓨트 버퍼(Compute Buffer) 처리입니다.
• 이러한 CPU 측 작업을 가속하기 위해서는 AVX-VNNI/AVX-512와 같은 최신 SIMD 명령어 세트를 활용하는 것이 필수적이며, 이것이 성능 향상의 핵심 열쇠입니다.