요약

본 기술 기사는 RAM이 제한적인 Mac 환경에서 Google의 최신 대규모 언어 모델(LLM)인 Gemma 4를 구동할 수 있도록 최적화된 '3&5 mixed quant' 버전을 소개합니다. 이 버전은 기존 3bit-mlx 모델보다 용량이 작고 속도가 빠르며, 특히 비전 기능이 중요하지 않은 사용자에게 적합합니다. 사용자는 특정 추론 파라미터 설정과 LM Studio의 고급 기능을 활용하여 Gemma 4의 성능을 극대화할 수 있습니다.

핵심 포인트

• RAM 제약 환경(Mac)에서 Google의 최신 LLM인 Gemma 4를 구동하기 위한 경량화된 '3&5 mixed quant' 모델이 출시되었습니다.
• 새로운 버전은 기존 3bit-mlx 모델 대비 용량이 더 작고 추론 속도가 빠르다는 장점이 있습니다.
• Gemma 4는 Qwen3.6과 비교했을 때, 복잡한 사고 과정(thinking)을 위한 토큰 사용량이 적어 효율적입니다.
• 최적의 성능을 위해 `temperature=1.0`, `top_p=0.95` 등 표준화된 추론 파라미터 설정이 권장됩니다.
• LM Studio에서 'thought' 섹션 파싱 기능을 활성화하여 모델의 추론 과정을 효과적으로 활용할 수 있습니다.