Windows에서 llama.cpp 모델을 빠르게 실행하기 위해 제가 사용하고 있는 편리한 설정 방법을 공유하고자 합니다. 간단한 배치 스크립트(batch script)를 사용하면 Windows 검색에서 몇 글자만 입력하는 것만으로 서버를 시작할 수 있습니다.

설정 방법:

config.ini - Router 설정. 이 ini 파일에 개별 설정과 함께 모델들을 배치할 수 있습니다. [*] 설정은 기본 설정입니다. 이는 모델별 설정에 의해 재정의(override)될 수 있습니다. 이 파일을 C:\ models\\config_KTU.ini와 같은 곳에 두세요.

runllama.bat - 실행 스크립트. 이 배치 파일을 Windows 검색 경로(예: %APPDATA%\Microsoft\Windows\Start Menu\Programs) 중 한 곳에 저장하세요. 기본적으로 Windows 검색은 이 위치에 대해 활성화되어 있습니다. 따라서 runllama.bat 을 실행하면 llama 서버가 시작됩니다. (팁: ini 파일에서 load-on-startup = true 옵션을 사용하면 llama.cpp 서버가 시작될 때 모델을 자동으로 로드합니다. 이렇게 하면 모델이 이미 워밍업(warmed up)된 상태가 됩니다.)

시작 방법:
Win + Q (Windows 검색) → runllama → Enter

lama.cpp 웹 UI에서의 모습:
모델이 로드된 후, http://localhost:8080/ 을 여세요.
https://preview.redd.it/8jwqjs2jh4hh1.png?width=845&format=png&auto=webp&s=777ab7de1f2df9a819e47b01a5bd9a1e915b0356

config.ini: (IVA, I 코드는 무시하세요.)

이것은 단지 참고용으로, 이 모델들이 이미지(Image), 비디오(Video), 오디오(Audio)가 가능한 버전임을 보여줄 뿐입니다.) version = 1 [*] n-gpu-layers=99 no-mmap=true cache-type-k=turbo4 cache-type-v=turbo4 flash-attn=true jinja=true ctx-size=32000 [Gemma4-E2B-Uncensored-IVA] model=C:\models\Gemma\Gemma4-E2B\Gemma-4-E2B-Uncensored-HauhauCS-Aggressive-Q4_K_P.gguf mmproj=C:\models\Gemma\Gemma4-E2B\mmproj-Gemma-4-E2B-Uncensored-HauhauCS-Aggressive-f16.gguf reasoning=off ctx-size=50000 load-on-startup = true [Gemma4-12B-IVA] model=C:\models\Gemma\Gemma4-12B-it\gemma-4-12b-it-UD-Q4_K_XL.gguf mmproj=C:\models\Gemma\Gemma4-12B-it\mmproj-gemma-4-12B-it-BF16.gguf reasoning=off ctx-size=80000 [Qwen3.5-0.8B-I] model=C:\models\Qwen\Qwen3.5-0.8B\Qwen3.5-0.8B-Q8_0.gguf mmproj=C:\models\Qwen\Qwen3.5-0.8B\mmproj-F16.gguf reasoning=off runllama.bat @echo off SET "EXECUTABLE=%UserProfile%.llamacpp\llama-server.exe" SET CUDA_VISIBLE_DEVICES=0 REM --- Extra Parameters --- SET EXTRA_PARAMS=^ --models-preset "C:\models\config.ini" ^ --models-max 1 ^ --host 0.0.0.0 ^ --port 8080 ^ -ngl 99 REM --- Final command --- SET "FINAL_COMMAND=%EXECUTABLE% %EXTRA_PARAMS%" echo [INFO] Forcing GPU: %CUDA_VISIBLE_DEVICES% echo [INFO] Executing: %FINAL_COMMAND% REM --- Execute --- call %FINAL_COMMAND% echo. if %ERRORLEVEL% NEQ 0 ( echo [ERROR] Server failed to start. ) pause submitted by /u/Addyad [link] [comments]