어제 Deepseek Flash의 컨텍스트를 늘릴 수 있다는 메시지가 있었습니다. 그런데 Gemma4에서도 모든 것이 작동하는 것으로 밝혀졌습니다!
function dockergemma () {
docker run
-e GGML_CUDA_NO_PINNED=1
-p "$PORT_GEMMA":"$PORT_GEMMA"
-v "$LLM_PATH"
-v "$WORKSPACE_PATH"
--gpus "$LLM_GPU1" "$LLM_DOCKER_IMAGE"
--host 0.0.0.0 --threads 23 --flash-attn on --fit off --main-gpu 1 --jinja
--port "$PORT_GEMMA"
--ctx-size 80000
--temp 1.0
--top-p 0.95
--top-k 64
--ubatch-size 128 --batch-size 128
--tools all
--no-mmap
--backend-sampling --parallel 1
-m /models/new/gemma-4-31B-it/gemma-4-31B-it-Q6_K.gguf
}
팁:

1. GGML_CUDA_NO_PINNED=1
2. --backend-sampling --parallel 1
3. llama.cpp 웹 인터페이스의 경우, "Backend sampling" 체크박스를 확인하세요.
   submitted by /u/Defiant_Diet9085
   [link] [comments]