Laguna S-2.1 관련 공지 - 업데이트된 채팅 템플릿(Chat Template) 및 GGUF 사용 안내
요약
Laguna S-2.1 모델의 GGUF 파일 업데이트 및 채팅 템플릿 개선 사항을 안내합니다. yarn_attn_factor 수정과 새로운 채팅 템플릿 적용을 통해 사고 과정 보존 및 도구 호출 성능이 향상되었습니다.
핵심 포인트
- GGUF 파일 내 yarn_attn_factor를 1.0으로 수정
- 채팅 템플릿 개선으로 사고 과정(thinking) 보존 문제 해결
- 도구 호출(tool calling) 기능의 안정성 및 성능 향상
공식 GGUF 저장소 링크: https://huggingface.co/poolside/Laguna-S-2.1-GGUF/tree/main
약 5시간 전, 모든 GGUF 파일에 수정 사항이 적용되었습니다 - yarn_attn_factor를 1.0으로 수정함 (llama.cpp가 mscale을 도출함). 그리고 채팅 템플릿 (Chat template)은 망가진 사고 과정(thinking), 사고 과정 보존(preserve thinking), 그리고 도구 호출(tool calling) 문제를 많이 해결해 줍니다.
채팅 템플릿: https://huggingface.co/poolside/Laguna-S-2.1-GGUF/blob/main/chat_template.jinja
지금까지 모델의 성능이 훨씬 더 좋아진 것으로 보입니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0