만약 llama.cpp에서 Laguna S 2.1을 실행 중인데, </think> 태그를 닫지 못해 사고 (thinking) 루프에 빠진다면, 설정을 조정하는 데 너무 많은 시간을 쓰기 전에 양자화 (quant) 상태를 먼저 확인해 보는 것이 좋습니다. 저는 이 문제를 디버깅하는 데 하루를 보냈고, 마침내 깨끗한 출력을 얻을 수 있었던 방법은 다음과 같습니다:

1. 해결책: MoE 인지 양자화 (MoE-Aware Quant)
   제 테스트 결과, 균일한 저비트 양자화 (uniform low-bit quants, 예: 표준 IQ3_S)는 어텐션 (attention) 및 공유 전문가 가중치 (shared expert weights)를 너무 많이 저하시키는 것으로 보였으며, 이것이 모델이 맥락을 놓치고 무한 루프를 돌게 만드는 원인이라고 생각합니다. APEX 양자화 (예: Myric/Laguna-S-2.1-APEX-GGUF)로 전환했을 때 큰 차이가 있었습니다. APEX는 파일 크기를 작게 유지하면서도(약 54GB), 타겟 정밀도 (targeted precision, 공유 전문가에는 Q6_K, 어텐션에는 Q4_K 사용)를 사용합니다. 저의 경우, 이것이 루프 문제의 약 90%를 즉시 해결했습니다.

2. 설정 (기본값으로 복구함)
   사람들이 루프를 "해결"하기 위해 커스텀 템플릿이나 샘플링 (sampling) 수정을 공유하는 것을 보았지만, 제 경험상 대부분은 양자화 노이즈 (quantization noise)를 가리는 것에 불과했습니다. 저는 Poolside의 실제 기본값을 신뢰했을 때 가장 좋은 결과를 얻었습니다:

• 템플릿 (Template): 기본 (Stock). 포맷팅 공백을 추가하거나 다른 변경을 가하는 것은 문제를 일으키는 것 같았습니다.
• 샘플링 (Sampling): temp 0.7, top_p 0.95, top_k 20.
• Min-P: 설정하지 않았습니다 (모델 카드에서도 이를 사용하지 말라고 경고합니다).

여전히 루프가 발생하는 경우...
좋은 양자화 모델에서도 도구 (tool)를 제공하지 않고 복잡한 추론을 요구할 때 (예: "이 런타임 데드락을 진단하세요") 여전히 루프가 발생할 수 있음을 확인했습니다. Laguna는 에이전트형 모델 (agentic model)이기 때문에, 생각을 고정할 도구가 없으면 과하게 생각하는 경향이 있는 것 같습니다. 프롬프트를 도구 호출 (tool call) 중심으로 구성하거나, "짧게 생각한 뒤 행동하세요"와 같은 간단한 시스템 프롬프트를 추가하는 것이 이 문제를 거의 완전히 방지한다는 것을 발견했습니다.