Laguna-S-2.1에서 <thinking> 강제하기
요약
Laguna-S-2.1 모델이 중간 난이도 질문에서 사고 과정을 생략하는 문제를 해결하기 위해 채팅 템플릿을 수정하는 방법을 제안합니다. <think> 태그 뒤에 줄바꿈을 추가함으로써 모델이 추론 과정을 강제하도록 유도할 수 있습니다.
핵심 포인트
- 채팅 템플릿 수정을 통해 모델의 사고(thinking) 과정을 강제할 수 있음
- <think> 태그 뒤에 줄바꿈을 추가하는 것이 핵심적인 방법임
- 코딩 및 벤치마킹 작업 시 모델의 성능을 극대화할 수 있음
- Q2 양자화 버전에서도 효과적인 추론 유도가 가능함
새로운 Laguna 모델을 테스트해 본 분들이라면, 이 모델이 중간 난이도의 질문에 대해 사고(thinking)하기를 얼마나 꺼려하는지, 그리고 그것이 출력 품질에 어떤 영향을 미치는지 눈치채셨을 것입니다. 이 모델이 "Hi, who are you"와 같은 질문에 대해 Qwen처럼 과하게 반응하지 않는 점은 훌륭하지만, 확실히 더 많이 생각해야 합니다. 저는 모델이 말하는 내용에 대해 사고하도록 강제하는 아주 완벽한(10/10) 방법을 찾아냈습니다. 바로 간단한 채팅 템플릿(chat template) 변경입니다. 추론(reasoning)이 활성화되었을 때, 단순히 <think> 태그만 삽입하는 것이 아니라 그 뒤에 줄바꿈(new line)을 추가하는 방식입니다. 물론, 이 방식은 사고 과정을 항상 강제하게 되므로 많은 사용 사례에서 원하는 방식은 아닐 수 있지만, 코딩이나 벤치마킹(benchmarking) 시에는 이 모델의 성능을 제대로 보여줄 수 있는 방법입니다. 저는 Q2 양자화 버전에서만 테스트했기에 속도는 더 빠르지만, 지금까지의 결과는 매우 훌륭합니다. 예를 들어 인사에 대해서는 한 문장 정도의 추론을 수행하고, 코딩 작업에 대해서는 수만 개의 토큰을 사용합니다. 간단한 변경 사항: {%- if enable_thinking -%} {{- '<think> ' -}} {%- else -%} {{- '</think>' -}} {%- endif -%}
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기