CPU 에서 DeepSeek V3.2 GGUF 실행 시 누락된 'think' 태그 오류 수정하기

요약

llama.cpp와 Open WebUI를 사용하여 CPU 환경에서 DeepSeek V3.2 GGUF 모델을 실행할 때, 추론 출력의 시작 태그 누락 오류가 발생했습니다. 이는 특정 GGUF 샤드에 대한 내부 채팅 템플릿이 자동으로 로드되지 않기 때문입니다. 이 문제를 해결하기 위해서는 llama-server를 시작할 때 공식 Jinja chat 템플릿 파일을 명시적으로 지정해주어야 하며, 이를 통해 Open WebUI에서 추론 블록을 올바르게 포맷팅하고 표시할 수 있습니다.

핵심 포인트

• CPU 환경에서 DeepSeek V3.2 GGUF 모델 사용 시 시작 태그 누락 오류가 발생할 수 있다.
• 근본 원인은 특정 GGUF 샤드에 대한 내부 채팅 템플릿의 자동 로딩 실패이다.
• 해결책은 llama-server 실행 시 `--chat-template-file` 플래그를 사용하여 공식 Jinja chat 템플릿을 명시적으로 지정하는 것이다.
• 이 수정 사항을 적용하면 Open WebUI가 추론 블록을 올바르게 포맷팅하고, 시작 태그를 보존할 수 있다.