Laguna S 2.1의 사고 모드 (Thinking mode) 관련 이슈
요약
Laguna S 2.1 모델에서 추론 단계(reasoning phase)가 작동하지 않는 이슈를 분석합니다. 채팅 템플릿 설정 및 preserve_thinking 옵션과 관련된 버그 가능성을 제시하며, Qwen 템플릿을 통한 해결 방안을 제안합니다.
핵심 포인트
- Laguna S 2.1 모델의 추론 단계 미작동 이슈 발생
- preserve_thinking 설정 비활성화 시 추론 버그 가능성
- Qwen 27B의 채팅 템플릿을 활용한 추론 활성화 방법 제안
- llama.cpp의 --chat-template-file 파라미터 활용 권장
많은 분들이 Laguna S 2.1에 추론 단계 (reasoning phase)가 없다는 점을 눈치채셨을 것입니다. 저는 Poolside 개발팀이 지난 24시간 동안 채팅 템플릿 (chat template)을 두 번 업데이트한 것을 확인했습니다. preserve_thinking 설정이 비활성화되어 있으면 추론이 전혀 시작되지 않는 버그가 있었습니다.
하지만 저는 이것이 근본적인 원인이라고 생각하지는 않습니다. Qwen 27B의 채팅 템플릿 (chat template)을 확인해 보시겠습니까? llama.cpp에서 --chat-template-file 파라미터를 사용하여 사용할 때, Laguna S 2.1 모델에 대해 추론을 올바르게 활성화합니다.
이 정보가 템플릿 문제를 추적하고 수정하는 데 도움이 되기를 바랍니다.
https://huggingface.co/poolside/Laguna-S-2.1/blob/main/chat_template.jinja
https://huggingface.co/Qwen/Qwen3.6-27B/blob/main/chat_template.jinja
submitted by /u/Shoddy_Bed3240
[link] [comments]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기