b8964
요약
이 기술 기사는 LLM 추론 과정에서 'DONE' 상태가 새로운 토큰(새로운 시작 태그 포함)을 흡수하여 이후의 모든 사고(think) 블록이 예산 없이 실행되는 문제를 해결한 내용을 다룹니다. 이 문제는 특히 응답당 여러 블록을 교차하는 모델(예: unsloth/Qwen3.6-27B-GGUF)에서 관찰되었습니다. 수정 방법은 DONE 분기에서 start_matcher를 전진시키고 매칭 시 COUNTING 상태로 재설정하여 새로운 예산을 부여하는 것입니다.
핵심 포인트
- LLM 추론 과정 중 'DONE' 상태가 토큰 흡수로 인해 이후의 think 블록 실행에 영향을 주는 버그를 수정했습니다.
- 문제는 응답이 여러 블록을 교차하며 생성될 때(interleaves multiple blocks per response) 발생했으며, 예산 관리(reasoning budget) 문제가 핵심입니다.
- 해결책은 DONE 분기에서 start_matcher를 전진시키고 COUNTING 상태로 재설정하여 새로운 추론 예산을 명시적으로 부여하는 것입니다.
- 다양한 운영체제 및 하드웨어 아키텍처(macOS, Linux, Android, Windows 등)에 대한 광범위한 지원 목록을 제공합니다.
common : DONE 상태가 새로운 토큰 (새로운 시작 태그 포함) 을 모두 흡수하여 첫 번째 이후의 모든 think 블록이 예산 없이 실행되는 문제를 해결했습니다. (#22323) re-arm reasoning budget after DONE on new state absorbs all tokens including a new start tag, causing any think blocks after the first to run unbudgeted. unsloth/Qwen3.6-27B-GGUF 에서 관찰된 것으로, 이 모델은 응답당 여러 블록을 교차합니다 (interleaves multiple blocks per response). 수정 방법은 DONE 분기에서 start_matcher 를 전진시키고 매칭 시 COUNTING 상태로 재설정하여 새로운 예산을 부여하는 것입니다. 회귀 테스트 추가 (test-reasoning-budget: test 6).
macOS/iOS:
- macOS Apple Silicon (arm64)
- macOS Apple Silicon (arm64, KleidiAI enabled)
- macOS Intel (x64)
- iOS XCFramework
Linux:
- Ubuntu x64 (CPU)
- Ubuntu arm64 (CPU)
- Ubuntu s390x (CPU)
- Ubuntu x64 (Vulkan)
- Ubuntu arm64 (Vulkan)
- Ubuntu x64 (ROCm 7.2)
- Ubuntu x64 (OpenVINO)
- Ubuntu x64 (SYCL FP32)
- Ubuntu x64 (SYCL FP16)
Android:
- Android arm64 (CPU)
Windows:
- Windows x64 (CPU)
- Windows arm64 (CPU)
- Windows x64 (CUDA 12) - CUDA 12.4 DLLs
- Windows x64 (CUDA 13) - CUDA 13.1 DLLs
- Windows x64 (Vulkan)
- Windows x64 (SYCL)
- Windows x64 (HIP)
openEuler:
- openEuler x86 (310p)
- openEuler x86 (910b, ACL Graph)
- openEuler aarch64 (310p)
- openEuler aarch64 (910b, ACL Graph)
AI 자동 생성 콘텐츠
본 콘텐츠는 llama.cpp Releases의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기