사용자가 전체 포크(fork)를 유지 관리하거나 llama-server가 할 수 있는 모든 기능을 재구현하는 래퍼(wrapper)를 만들 필요 없이, llama-server에 커스텀 샘플링(sampling) 로직을 추가할 수 있도록 하는 아이디어 및 프로토타입(OpenCode를 통해 Qwen3.6-27B-UD-Q6_K_XL로 제작됨)입니다.

포함된 확장 예시는 제가 심하게 양자화된(heavily quantized) 모델에서 흔히 목격하는 현상, 즉 1~3개의 토큰을 반복하며 갇혀버리는 일종의 루프를 감지하고 끊어내는 기능을 담고 있습니다. llama.cpp에 포함되지 않은 샘플링에 대한 다른 아이디어로는 사고(thinking) 단계, 도구 호출(tool calling), 그리고 일반 생성 단계 동안 서로 다른 샘플링 파라미터(sampling parameters)를 사용하는 것; 문맥(context)에 따라 문법(grammars)을 토글하는 것; 비-GBNF 문법(non-GBNF grammars); 생성된 SQL 쿼리에서 실제 테이블만 참조되도록 보장하는 것; 샘플러 자체에서 개인정보(PII)를 삭제하는 것; 그리고 기타 실험적인 일반 샘플링 접근 방식 등이 있습니다.

이것은 MTP가 병합된 이후의 최신 master 브랜치를 기반으로 작성되었습니다; 투기적 디코딩(speculative decoding)과도 함께 작동합니다.

여기서 투표를 위해 게시되었습니다: https://github.com/ggml-org/llama.cpp/discussions/23028

브랜치: https://github.com/dpmm99/llama.cpp/tree/master-with-sampling-extensions

예시 샘플러 확장은 상당히 짧은 파일 하나로 구성되어 있습니다: https://github.com/dpmm99/llama.cpp/blob/master-with-sampling-extensions/examples/sampling-ext/loop-detector.cpp

테스트해보고 싶으신 분들을 위해 편의상 제공하는 Vulkan Windows x64 릴리스 복사본입니다: https://github.com/dpmm99/llama.cpp/releases/tag/dpmm99-0.1 하지만 인터넷에서 가져온 무작위 실행 파일(executables)을 신뢰하지 말라는 일상적인 주의 사항을 다시 한번 말씀드립니다. ;)

예시 명령어:

llama-server -np 1 -c 32768 --temp 0.1 -m Qwen3.6-27B-UD-Q6_K_XL-MTP.gguf --spec-type draft-mtp --spec-draft-n-max 3 --sampling-ext-path sampling-ext-loop-detector.dll

MTP를 사용하는 Qwen3.6-27B와 함께 llama-server에서 작동하는 확장 기능