Qwen 27B

요약

Qwen 27B 모델을 4090+3090 시스템에서 테스트한 결과, 매우 빠른 디코딩 및 프리필 속도를 보여주었습니다. 특히 대규모 코드베이스를 안정적으로 처리하며 기존 스키마를 유지하는 뛰어난 코드 생성 능력을 입증했습니다.

핵심 포인트

• Q6KXL 양자화 적용 시 50-90 tokens/s의 빠른 디코딩 속도 구현
• 다중 토큰 예측(multi-token prediction) 기능 활용 가능
• 대규모 코드베이스 입력 시 기존 스키마를 유지하는 안정성 확보
• 추가적인 튜닝 없이도 도구 및 기술 인터페이스가 매우 안정적임