Gemma4의 QAT 버전이 나왔다. 일반적인 양자화(quantization)보다 품질은 유지하면서 메모리 사용량을 상당히 줄일 수 있는 것 같다.

특히 눈에 띄었던 것은 26B A4B 버전으로, QAT GGUF를 사용하면 16GB VRAM GPU에도 전체 로딩이 가능하다는 이야기였다. 만약 실제로 탑재된다면, RTX 5070 Ti 16GB에서도 상당히 빠르게 구동될 것으로 예상한다.

그래서 내 환경에서도 직접 테스트해 보았다. 그 결과, gemma-4-26B-A4B-it-qat-UD-Q4_K_XL.gguf 파일은 128K 컨텍스트를 유지한 채 111.9 tok/s까지 나왔다. 일반적인 Gemma4 26B Q4/Q5/Q6 계열이 33~35 tok/s 전후였기 때문에, 속도만 놓고 보면 상당히 강력하다.

본문에서는 먼저 실행 설정과 파라미터의 위치를 정리하고, 그 후에 속도, 일반 버전과의 차이점, 그리고 실제로 사용할 때 주의할 점들을 모아서 설명한다.

여기서는 먼저 다음과 같이 파라미터의 위치를 정했다.

중요한 것은, b4096/ub512만이 실용적인 설정이라는 의미는 아니라는 점이다. QAT 버전은 모델 자체가 가볍기 때문에, b2048/ub256에서도 일반 Gemma4 26B보다 훨씬 가볍게 구동된다. 이후 속도표에서 제시된 111.9 tok/s는 위 표의 '속도 측정' 조건으로 측정한 값이다.

이번 최고치를 기록한 속도 측정용 설정은 다음과 같다.

gemma-4-26B-A4B-it-qat-UD-Q4_K_XL-C128K-GPU.gguf:
ttl: 900
cmd: >-
...

포인트는 이 부분이다.

속도뿐만 아니라, OpenCode에서 사용했을 때의 실용감도 보기 위해, 직접 만든 벤치마크 파이프라인으로 단계적으로 평가를 진행했다.

사용된 주요 코드는 다음과 같다.

이 평가를 통해 파악할 수 있는 문제는 단순히 문장력만은 아니다. 예를 들어

Phase5에서는 GLM-5.1 단독 채점 시 만점이었으나, Claude Sonnet의 블라인드 채점(blind scoring)에서는 HTML 인용구(quote) 누락으로 인한 구문 오류(syntax error)가 지적되었다. 속도는 빠르지만, 코드의 세부적인 부분에서 거친 면이 나타난다.

• Google QAT 발표: https://blog.google/innovation-and-ai/technology/developers-tools/quantization-aware-training-gemma-4/
• Gemma 4 model card: https://ai.google.dev/gemma/docs/core/model_card_4
• Google 공식 QAT GGUF: https://huggingface.co/google/gemma-4-26B-A4B-it-qat-q4_0-gguf
• 이번에 사용한 Unsloth QAT GGUF: https://huggingface.co/unsloth/gemma-4-26B-A4B-it-qat-GGUF
• 사용 파일: https://huggingface.co/unsloth/gemma-4-26B-A4B-it-qat-UD-Q4_K_XL.gguf
• Unsloth QAT 해설: https://unsloth.ai/docs/models/gemma-4/qat

Gemma4-26B-QAT-Q4KXL은 RTX 5070 Ti 16GB에서 128K 컨텍스트(context)를 유지한 채 110 tok/s급으로 동작했다.

QAT 버전의 가벼움과 GPU에 모델을 전부 올린(full GPU offloading) 결과라고 생각한다. 품질은 통상적인 Q5/Q6보다 약간 떨어지므로, 속도를 중시하는 탐색이나 가벼운 작업용으로 사용한다.