llama.cpp용 Gemma4 31B를 위한 실험적인 "사고 과정 보존(Preserve Thinking)" Jinja 템플릿
요약
llama.cpp 환경에서 Gemma4 31B 모델의 사고 과정(thinking process)을 안정적으로 유지하기 위한 실험적인 Jinja 템플릿을 소개합니다. 이 템플릿은 멀티턴 도구 호출 시 발생하는 사고 태그 누락이나 조기 종료 문제를 해결하는 데 중점을 둡니다.
핵심 포인트
- Gemma4 31B 모델을 위한 실험적 Jinja 템플릿 제공
- 사고 태그(thinking tag)의 누락 및 오류 방지
- 멀티턴 도구 호출 상황에서의 안정성 향상
- llama.cpp 및 GGUF 환경 최적화
https://huggingface.co/stevelikesrhino/gemma-4-31B-it-nvfp4-GGUF/blob/main/gemma4-improved.jinja
여러분 모두 자유롭게 사용해 보시고 피드백을 주셔도 좋습니다. 제가 Pi-coding-agent에서 직접 테스트해 본 결과, 더 이상 "사고 태그(thinking tag) 닫기 누락", "사고 태그 열기 누락", "사고 태그 너무 일찍 닫음"과 같은 문제가 발생하지 않았습니다. 여러 차례의 프롬프트가 이어지는 멀티턴 도구 호출(multi-turn tool calls) 상황에서 더욱 안정적입니다.
면책 조항: 이것은 Google에서 권장하는 방식이 아닙니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Reddit AI Engineering의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0