github.com/laurencehardman/llama-mindcontrol 이 프로젝트의 주요 동기는 Qwen3.6-27B와 같은 소규모 로컬 모델들의 추론 동작에 좌절감을 느꼈기 때문입니다 (특히 낮은 온도 (temperature) 설정과 시스템 프롬프트가 매우 구체적인 경우라고 생각합니다). 이들의 추론 과정은 매우 신뢰할 수 없으며, 종종 끝없는 "But, wait" 루프에 빠지거나 때로는 완전히 형편없는 결과물을 내놓는 경향이 있습니다. 핵심 원리는 간단합니다. 샘플러 (sampler)가 시작 태그인 <think>를 발견하면, 모델이 적절하게 행동하도록 유도하기 위해 자기 인식적인 문구로 사고 과정을 시작합니다. 예: "나는 <x> 토큰의 사고 예산을 가지고 있으며, 나의 사고 과정은 간결함을 유지해야 한다" - 이 문구가 미리 채워진 후(prefilled), 샘플링이 거기서부터 계속됩니다. 사고 예산의 약 70%와 같은 임계값에 도달하면, 예산에 다시 주의를 환기시키는 문구를 삽입합니다 - "사고 예산의 70%에 도달했으므로, 결론을 도출하기 위한 작업을 시작하겠다". 실제 예산 한계에 도달하면, 샘플러가 사고 과정을 끊기에 적절한 시점(보통 줄바꿈)을 기다리는 유예 기간이 주어집니다. 그 시점에 "사고 예산의 끝에 도달했으므로, 이제 사용자에게 답변을 제공하겠다"와 같은 문구를 주입합니다. 지금까지의 테스트 결과, 이 기술은 사고 과정을 가이드하는 데 눈에 띄게 효과적임이 증명되었습니다. 다음 단계는 아마도 이 개념을 일반화하여 "추론 문법 (reasoning grammar)" 또는 템플릿 기반 접근 방식과 같은 것을 개발하는 것이 될 것입니다. 이를 통해 당면한 과제에 따라 서로 다른 추론 방식을 강제할 수 있을 것입니다. 저장소 (repo)는 공개되어 있으며, AMD64 + CUDA를 위한 사전 빌드된 Docker 이미지도 있습니다. 저 말고 다른 분들에게도 이런 종류의 개선 사항이 유용할지 궁금하네요 ㅎㅎ submitted by /u/hellajacked [link] [comments]