본 게시글은 Qwen-3.6-27B 모델을 활용하여 LLM의 코드 및 콘텐츠 생성 속도를 극대화한 실험 결과를 공유합니다. 핵심 기술은 Speculative Decoding이며, 이를 llama.cpp 환경에서 구현했습니다.

작성자는 초기 프로그램 개발 단계(1차 버전)에서는 13.60 t/s 수준의 속도가 측정되었으나, 모델을 업데이트하고 최적화된 설정을 적용한 최종 단계에서는 무려 136.75 t/s까지 속도가 급증하는 것을 확인했습니다. 이는 LLM이 코드를 생성하는 전 과정(기능 추가, 버그 수정 등)에서 일관되게 나타난 현상입니다.

특히 인상적인 점은 단순히 속도만 빨라진 것이 아니라, Qwen 모델 자체가 사용자 프롬프트에 따라 브라우저 콘솔 스크린샷을 분석하여 정확한 버그를 찾아내고 수정하는 등 높은 수준의 추론 능력을 보여주었다는 것입니다. 최종적으로 완성된 '아쿠아리움' 이미지 결과물은 이전 세대 모델이나 동급 대형 모델 대비 뛰어난 심미성과 기능성을 자랑했습니다.

이러한 혁신적인 속도 향상은 llama-server 명령어에 다음 Speculative Decoding 옵션을 추가함으로써 달성되었습니다: --spec-type ngram-mod --spec-ngram-size-n 24 --draft-min 12 --draft-max 48. 작성자는 이 설정이 자신에게는 매우 효과적이었음을 강조하며, 관련 커뮤니티에 감사를 표했습니다.