@jess @ben 불과 며칠 전, Google DeepMind는 AI 지형의 진정한 변화를 알리는 오픈 모델 제품군인 Gemma 4를 출시했습니다. 강력한 Gemini 3와 동일한 기초 연구를 바탕으로 구축된 Gemma 4는 구독료나 API 비용 없이, 오직 가공되지 않은 오픈 웨이트 (open-weight)의 힘만으로 최첨단 수준의 지능을 여러분의 하드웨어에 직접 가져다줍니다. 이 가이드는 여러분이 알아야 할 모든 것, 즉 네 가지 핵심 변체 (variants), 각 모델의 강점, 시작 방법, 그리고 Gemma 4를 차별화하는 혁신적인 기능들을 분석합니다.

왜 Gemma 4가 중요한가: 성능과 오픈 액세스의 만남
이번 출시의 중요성을 이해하려면 벤치마크 (benchmarks)를 살펴봐야 합니다. 전반적으로 31B 밀집 모델 (dense model)은 이전 모델인 Gemma 3에 비해 놀라운 성능 도약을 보여줍니다:

• AIME 2026 (수학적 추론 (Math Reasoning)): 89.2% vs 20.8%
• LiveCodeBench v6 (코딩 (Coding)): 80.0% vs 29.1%
• GPQA Diamond (과학적 지식 (Scientific Knowledge)): 84.3% vs 42.4%
• τ2-bench (에이전트 워크플로 (Agentic Workflows)): 86.4% vs 6.6%

이러한 성능은 모델의 크기를 고려할 때 더욱 인상적입니다. 31B 모델은 Arena ELO 점수 1452를 달성하며, 자신의 두 배 또는 세 배 크기에 달하는 모델들과 경쟁하며 모든 오픈 모델 중 3위를 기록했습니다. 이는 단순한 점진적 업데이트가 아니라, 오픈 소스 AI 역량의 근본적인 도약입니다.

Gemma 4 제품군: 네 가지 모델, 네 가지 목적
Google은 Raspberry Pi부터 데이터 센터에 이르기까지 어디에서나 실행될 수 있도록 Gemma 4를 설계했습니다. 네 가지 변체는 파라미터 수 (parameter count), 속도, 그리고 역량의 균형을 맞추어 광범위한 사용 사례를 커버하도록 설계되었습니다.

🧩 효율성 및 엣지 컴퓨팅 (Edge Computing)을 위한 밀집 모델 (Dense Models)
Gemma 4 E2B & E4B: 이 모델들은 Android 스마트폰 및 IoT 하드웨어와 같은 모바일 및 엣지 디바이스에 최적화되어 있습니다. "E"는 "effective"를 의미하며, 파라미터 효율성을 극대화하는 계층별 임베딩 (Per-Layer Embeddings, PLE) 아키텍처를 참조합니다.

| Feature | E2B | E4B | Effective Params | 2.3B (5.1B total) | 4.5B (8B total) | Context Window | 128K tokens | 128K tokens | Modalities | Text, Image, Audio | Text, Image, Audio | Target Devices | Mobile, Edge, IoT | Edge Devices, Fast Inference |
| :--- | :--- | :--- |

소형 모델들은 $200 수준의 NVIDIA Jetson Orin Nano 모듈과 같이 저렴한 하드웨어에서 오프라인으로 실행될 수 있습니다.

Gemma 4 31B: 플래그십 밀집 모델 (Dense Model)은 복잡한 추론 (Reasoning), 에이전트 워크플로우 (Agentic Workflows), 심층 코딩 (Deep Coding)과 같이 원천적인 품질이 가장 중요한 고부하 작업에 맞게 설계되었습니다.

🧠 속도와 규모를 위한 Mixture-of-Experts (MoE)

Gemma 4 26B A4B: 이것은 고효율 Mixture-of-Experts (MoE) 모델입니다. 총 260억 개의 파라미터를 보유하고 있지만, 각 추론 (Inference) 시에는 약 40억 개만 활성화되어 믿을 수 없을 정도로 빠르고 효율적입니다.

메모리 측면에서, 밀집 (Dense) 31B 모델은 BF16 정밀도에서 약 62GB를 요구하는 반면, MoE 26B는 18GB만 필요하므로 로컬 배포 (Local Deployment)에 훨씬 더 용이합니다.

🔬 심층 분석: 무엇이 Gemma 4를 이토록 유능하게 만드는가?

이 인상적인 사양은 오픈 모델의 새로운 표준을 제시하는 몇 가지 아키텍처 혁신을 통해 구현되었습니다:

🎯 구성 가능한 "사고" 모드를 통한 고급 추론 (Advanced Reasoning)

Gemma 4는 핵심부에 추론 능력이 내장되어 있습니다. 제품군의 모든 모델은 매우 유능한 추론기 (Reasoner)로 설계되었으며, 개발자가 모델의 추론 깊이를 조정할 수 있는 구성 가능한 사고 (Thinking) 모드를 제공합니다. 패턴 매칭 (Pattern-matching)에서 진정한 논리적 연역 (Logical Deduction)으로의 이러한 전환은 AIME 수학 벤치마크에서의 압도적인 향상(89.2% vs 20.8%)에서 명확히 드러납니다.

👁️ 챗봇을 넘어선 네이티브 멀티모달리티 (Native Multimodality)

Gemma 4 모델은 텍스트를 생성하면서 텍스트, 이미지, 비디오(프레임 시퀀스로 처리), 오디오(소형 모델의 경우)를 처리할 수 있는 진정한 멀티모달 (Multimodal) 모델입니다. 실제로 이는 Gemma 4가 실시간 카메라 피드에서 모든 프레임에 대해 객체 탐지 (Object Detection), OCR, 장면 설명 (Scene Description), 안전 분석을 동시에 수행하는 것과 같은 정교한 실세계 애플리케이션을 가능하게 합니다.

📚 방대한 컨텍스트 윈도우 (Massive Context Window, 128K–256K Tokens)

Gemma 4는 대형 모델에서 최대 256K 토큰의 컨텍스트 윈도우 (Context Window)를 특징으로 하며, 이는 단일 프롬프트 내에서 전체 코드베이스, 광범위한 문서 또는 긴 분량의 책을 처리하기에 충분한 양입니다. 소형 에지 (Edge) 모델은 최대 128K 토큰을 지원합니다. 이는 로컬 슬라이딩 윈도우 어텐션 (Local Sliding Window Attention)과 글로벌 어텐션 (Global Attention)을 교차시키는 하이브리드 어텐션 (Hybrid Attention) 메커니즘에 의해 지원되며, 속도, 메모리, 그리고 깊고 긴 컨텍스트 인식 (Long-context Awareness) 사이의 균형을 맞춥니다.

🚀 네이티브 에이전트 능력 (Native Agentic Capabilities)

Gemma 4는 AI 에이전트 (AI Agents)를 위해 구축되었으며, 외부 도구 및 API를 사용하기 위한 함수 호출 (Function Calling)과 신뢰할 수 있는 데이터 파싱을 위한 구조화된 출력 (Structured Output)을 네이티브로 지원합니다. $\tau$2-bench에서의 압도적인 향상(86.4% vs 6.6%)은 Gemma 4가 실세계와 상호작용할 수 있는 정교한 AI 에이전트를 구축하기 위한 강력한 동력이 될 것임을 보여줍니다.

🌐 다국어 숙련도 및 Apache 2.0 라이선스

140개 이상의 언어를 지원하는 이 모델들은 언어를 원활하게 전환할 수 있어, 별도의 설정 없이도 진정한 글로벌 모델로서 작동합니다. 결정적으로, Gemma 4는 허용 범위가 넓은 Apache 2.0 라이선스 하에 출시되었습니다. 이는 이전의 법적 장벽을 제거하여, 복잡한 법적 검토 없이도 제한 없는 상업적 이용, 제품 통합, 미세 조정 (Fine-tuning) 및 재배포를 가능하게 합니다.

⚙️ 배포 가이드: 노트북에서 클라우드까지

이제 여러분이 기다려온 부분인 Gemma 4를 실제로 실행하는 방법에 대해 알아보겠습니다. Google은 이 과정을 매우 간단하게 만들었습니다.

옵션 1: Ollama를 이용한 로컬 배포 (가장 쉬운 방법)

Ollama는 로컬 머신에서 Gemma 4를 실행하는 가장 빠른 경로를 제공합니다. 단 한 번의 명령만으로 모델을 다운로드하고 실행할 수 있습니다.

Ollama 설치

curl -fsSL https://ollama.ai/install.sh | sh

# 31B 모델 다운로드 및 실행
ollama run gemma4:31b

# 또는 MoE 26B 버전 실행 (더 적은 VRAM 필요)
ollama run gemma4:26b-moe

옵션 2: Hugging Face Transformers (완전한 제어)

최대의 유연성과 제어력을 확보하려면 Hugging Face 🤗 Transformers 라이브러리가 표준적인 선택입니다.

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

MODEL_PATH = "./models/gemma4-31b"

tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH)
model = AutoModelForCausalLM.from_pretrained(
    MODEL_PATH,
    torch_dtype=torch.bfloat16,
    device_map="auto",
    load_in_4bit=True,  # VRAM을 줄이기 위해 4-bit 양자화 (quantization) 활성화
)

messages = [{
    "role": "user",
    "content": "Explain how transformers work in simple terms."
}]

input_ids = tokenizer.apply_chat_template(
    messages,
    return_tensors="pt"
).to(model.device)

output = model.generate(
    input_ids,
    max_new_tokens=512,
    temperature=0.7
)

response = tokenizer.decode(
    output[0][input_ids.shape[-1]:],
    skip_special_tokens=True
)

print(response)

옵션 3: llama.cpp를 이용한 GGUF 양자화 (일반 소비자용 하드웨어)

소비자용 GPU 또는 CPU에서 Gemma 4를 실행하려면 llama.cpp 프레임워크가 가장 적합한 선택입니다. Hugging Face에서 GGUF 양자화 (quantized) 버전을 사용할 수 있으며, 이는 메모리 요구 사항을 획기적으로 줄여줍니다. GGUF 형식의 26B MoE 버전은 많은 소비자용 환경에서도 원활하게 실행될 수 있습니다.

🎛️ 파인튜닝 (Fine-Tuning) 가이드: 필요에 맞게 Gemma 4 커스텀하기

현대적인 기술들을 사용하면 Gemma 4를 파인튜닝하는 것이 놀라울 정도로 접근하기 쉽습니다.

🚀 Unsloth를 이용한 초고속 파인튜닝

Unsloth 라이브러리는 빠르고 메모리 효율적인 파인튜닝에 특화되어 있습니다. 시작하기에 가장 쉬운 방법입니다.

• 2B: LoRA를 사용하여 단 8~10GB의 VRAM으로 파인튜닝이 가능합니다.
• 4B: LoRA를 사용하여 약 17GB의 VRAM이 필요하며, 이는 단일 소비자용 GPU에서 실행 가능합니다.
• 31B: QLoRA (4-bit 양자화 + LoRA)를 사용하여 22GB VRAM GPU에서 실행할 수 있습니다.

Unsloth를 사용하면 정확도 손실 없이 표준 방식보다 미세 조정 (Fine-tuning) 속도는 약 1.5배 빠르고 VRAM 사용량은 60% 적습니다. 💰 클라우드 미세 조정 (Cloud Fine-Tuning): 0.38달러의 실험

고성능 로컬 하드웨어가 없는 사용자에게 클라우드 미세 조정은 믿을 수 없을 정도로 비용 효율적입니다. VESSL Cloud의 실험에 따르면, A100 80GB GPU에서 QLoRA를 사용하여 E4B 모델을 미세 조정하는 데 단 8분 16초가 소요되었으며 비용은 0.38달러였습니다. 총 VRAM 사용량은 최고 10.12GB에 불과했습니다.

주요 미세 조정 하이퍼파라미터 (VESSL 실험 기준):

• 방식 (Method): QLoRA
• LoRA Rank (r): 8
• LoRA Alpha: 8
• 데이터셋 (Dataset): FineTome-100k (3,000개 샘플)
• 4-bit 양자화 (4-bit Quantization): 활성화됨
• 학습 단계 (Training Steps): 60
• 손실 개선 (Loss Improvement): 2.37 → 0.66

📊 Gemma 4 vs. 경쟁 모델

Gemma 4는 진공 상태에서 존재하지 않습니다. 다른 주요 오픈 웨이트 (Open-weight) 모델들과 비교하면 다음과 같습니다:

Gemma 4가 우세한 점: 주요 벤더에서 출시한 오픈 모델 중 실무 워크로드 (Real-world workloads)에 대해 프런티어 API (Frontier APIs)에 진정으로 도전하는 첫 번째 모델입니다. 강력한 벤치마크 점수, 허용적인 라이선스, 그리고 멀티모달 (Multimodal) 기능의 조합은 타의 추종을 불허합니다.

Gemma 4가 부족한 점: 현재 SWE-bench (소프트웨어 엔지니어링 작업)에서 Qwen 3.5에 뒤처져 있으며, 네이티브 음성 출력 기능이 없어 일부 사용 사례가 제한될 수 있습니다. 또한, 오픈 소스이기 때문에 인프라와 미세 조정을 직접 관리해야 합니다.

🔮 결론: 오픈 AI의 이정표

Gemma 4는 단순한 또 다른 모델 출시가 아닙니다. 이는 AI의 미래에 대한 선언입니다. 31B 밀집 모델 (Dense model)은 오픈 웨이트 지능의 새로운 클래스를 나타내며, 상당 부분의 실무 워크로드에 대해 호스팅된 API 솔루션을 대체할 수 있는 능력을 갖추고 있습니다.

엣지(edge)부터 데이터 센터(data center)에 이르기까지 아우르는 전체 모델 제품군, 네이티브 멀티모달리티 (native multimodality), 허용 범위가 넓은 Apache 2.0 라이선스, 그리고 접근 가능한 배포 경로를 갖춘 Gemma 4는 개발자, 연구자 및 기업의 진입 장벽을 낮춰줍니다. 이제 오픈 소스 AI 커뮤니티는 그 위에 구축할 수 있는 정당하고 최첨단인 기반을 갖게 되었습니다. 이는 오픈 소스 AI 생태계에 있어 진정한 이정표입니다.