Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
Windows 검색 기능을 활용하여 llama.cpp의 Router Mode를 빠르고 편리하게 실행하는 설정 방법을 소개합니다. 배치 스크립트와 config.ini 파일을 사용하여 여러 모델을 관리하고 서버를 즉시 구동할 수 있습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기Windows에서 llama.cpp 모델을 빠르게 실행하기 위해 제가 사용하고 있는 편리한 설정 방법을 공유하고자 합니다. 간단한 배치 스크립트(batch script)를 사용하면 Windows 검색에서 몇 글자만 입력하는 것만으로 서버를 시작할 수 있습니다.
설정 방법:
config.ini - Router 설정. 이 ini 파일에 개별 설정과 함께 모델들을 배치할 수 있습니다. [*] 설정은 기본 설정입니다. 이는 모델별 설정에 의해 재정의(override)될 수 있습니다. 이 파일을 C:\ models\\config_KTU.ini와 같은 곳에 두세요.
runllama.bat - 실행 스크립트. 이 배치 파일을 Windows 검색 경로(예: %APPDATA%\Microsoft\Windows\Start Menu\Programs) 중 한 곳에 저장하세요. 기본적으로 Windows 검색은 이 위치에 대해 활성화되어 있습니다. 따라서 runllama.bat 을 실행하면 llama 서버가 시작됩니다. (팁: ini 파일에서 load-on-startup = true 옵션을 사용하면 llama.cpp 서버가 시작될 때 모델을 자동으로 로드합니다. 이렇게 하면 모델이 이미 워밍업(warmed up)된 상태가 됩니다.)
시작 방법:
Win + Q (Windows 검색) → runllama → Enter
lama.cpp 웹 UI에서의 모습:
모델이 로드된 후, http://localhost:8080/ 을 여세요.
https://preview.redd.it/8jwqjs2jh4hh1.png?width=845&format=png&auto=webp&s=777ab7de1f2df9a819e47b01a5bd9a1e915b0356
config.ini: (IVA, I 코드는 무시하세요.)
이것은 단지 참고용으로, 이 모델들이 이미지(Image), 비디오(Video), 오디오(Audio)가 가능한 버전임을 보여줄 뿐입니다.) version = 1 [*] n-gpu-layers=99 no-mmap=true cache-type-k=turbo4 cache-type-v=turbo4 flash-attn=true jinja=true ctx-size=32000 [Gemma4-E2B-Uncensored-IVA] model=C:\models\Gemma\Gemma4-E2B\Gemma-4-E2B-Uncensored-HauhauCS-Aggressive-Q4_K_P.gguf mmproj=C:\models\Gemma\Gemma4-E2B\mmproj-Gemma-4-E2B-Uncensored-HauhauCS-Aggressive-f16.gguf reasoning=off ctx-size=50000 load-on-startup = true [Gemma4-12B-IVA] model=C:\models\Gemma\Gemma4-12B-it\gemma-4-12b-it-UD-Q4_K_XL.gguf mmproj=C:\models\Gemma\Gemma4-12B-it\mmproj-gemma-4-12B-it-BF16.gguf reasoning=off ctx-size=80000 [Qwen3.5-0.8B-I] model=C:\models\Qwen\Qwen3.5-0.8B\Qwen3.5-0.8B-Q8_0.gguf mmproj=C:\models\Qwen\Qwen3.5-0.8B\mmproj-F16.gguf reasoning=off runllama.bat @echo off SET "EXECUTABLE=%UserProfile%.llamacpp\llama-server.exe" SET CUDA_VISIBLE_DEVICES=0 REM --- Extra Parameters --- SET EXTRA_PARAMS=^ --models-preset "C:\models\config.ini" ^ --models-max 1 ^ --host 0.0.0.0 ^ --port 8080 ^ -ngl 99 REM --- Final command --- SET "FINAL_COMMAND=%EXECUTABLE% %EXTRA_PARAMS%" echo [INFO] Forcing GPU: %CUDA_VISIBLE_DEVICES% echo [INFO] Executing: %FINAL_COMMAND% REM --- Execute --- call %FINAL_COMMAND% echo. if %ERRORLEVEL% NEQ 0 ( echo [ERROR] Server failed to start. ) pause submitted by /u/Addyad [link] [comments]