어떤 모델을 실행하기 전에, 사용 중인 OS에 Ollama (또는 llama.cpp)가 설치되어 있어야 합니다. Ollama는 세 가지 플랫폼 모두에서 가장 간단한 시작점입니다.

Windows

1. ollama.com/download에서 설치 프로그램을 다운로드하고 .exe 파일을 실행하세요.
2. 설치 마법웨이저를 따르세요 — Ollama는 시스템 트레이에 추가되며 자동으로 시작됩니다.
3. PowerShell 또는 명령 프롬프트(Command Prompt)를 열고 확인하세요:

ollama -v

1. 모델을 가져오고(Pull) 실행하세요:

ollama run gemma4:e4b

NVIDIA GPU를 사용 중이라면, Ollama가 자동으로 이를 감지하고 사용할 수 있도록 최신 CUDA 드라이버를 먼저 설치하세요 — PowerShell에서 nvidia-smi로 확인할 수 있습니다.

Linux

1. 공식 스크립트를 통해 설치하세요:

curl -fsSL https://ollama.com/install.sh | sh

1. 서비스를 시작하세요 (보통 자동으로 시작되지만, 수동으로 실행할 수도 있습니다):

ollama serve

1. 설치 및 GPU 감지를 확인하세요:

ollama -v
nvidia-smi   # NVIDIA GPU용

1. 지속적인 백그라운드 서비스를 위해, 터미널에서 ollama serve를 실행하는 대신 systemd에 등록하세요:

sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
sudo usermod -a -G ollama $(whoami)
sudo systemctl daemon-reload
...

1. 가져오고 실행하세요:

ollama run gemma4:e4b

AMD GPU 사용자는 기본 설치와 함께 추가적인 ROCm 패키지(ollama-linux-amd64-rocm.tar.zst)가 필요합니다.

macOS

1. ollama.com/download에서 .dmg를 다운로드하여 열고 Ollama를 응용 프로그램(Applications) 폴더로 드래그하거나, Homebrew를 통해 설치하세요:

brew install ollama
brew services start ollama

1. 권한을 부여하기 위해 응용 프로그램에서 Ollama를 한 번 실행하세요. 메뉴 바에서 아이콘을 볼 수 있습니다.
2. 확인 및 실행하세요:

ollama --version
ollama run gemma4:e4b

Apple Silicon Mac (M1–M4)은 Metal 가속을 자동으로 사용합니다 — 추가적인 드라이버 설정이 필요하지 않으며, 통합 메모리(Unified Memory)가 편안하게 실행할 수 있는 최대 모델 크기를 결정합니다.

대신 llama.cpp를 선택하는 경우

편의성보다 순수한 추론 속도(Inference speed)가 필요하다면, 어떤 OS에서든 llama.cpp를 직접 빌드하세요:

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
cmake -B build -DGGML_CUDA=ON   # Mac에서는 -DGGML_METAL=ON을 사용하고, CPU 전용 Linux/Windows에서는 플래그를 생략하세요
...

이 명령어를 실행하기 전에 Hugging Face의 Gemma 4 컬렉션에서 GGUF 가중치(weights)를 별도로 다운로드하세요.