Gufo 성능 관련: Qwen 3.8 27B 모델의 70 tps에 대한 분석

요약

본 기사는 Qwen 3.8 27B 모델의 토큰 생성 속도(tok/s)를 Gufo와 Halogen 두 서버를 사용하여 비교 분석한 내용입니다. 테스트 결과, 일반적인 사용 환경에서는 Halogen이 사용자당 및 동시 사용자 처리에서 더 높은 성능을 보였으며, Gufo는 긴 프롬프트나 반복적 패턴에 강점을 나타냈습니다.

핵심 포인트

• 일반 생성 시 Halogen이 사용자당 약 13%, 다수 사용자 시 18% 더 빠름.
• Gufo는 긴 프롬프트 처리(콜드 프롬프트)에서 높은 성능을 보임.
• 테스트 속도는 추측 디코딩(speculative decoding) 방식에 크게 의존함.
• 실제 사용 환경에서는 최적의 케이스가 아닌 일반적인 프롬프트를 사용하는 것이 중요함.