AI Tech Connect에 처음 게시되었습니다.

개발자가 알아야 할 세 가지 사항: 이제 모델이 기기에 적합해졌습니다. Google DeepMind는 2026년 6월 3일, 16GB RAM을 탑재한 소비자용 노트북에서 로컬로 실행되도록 설계된 Gemma 4 12B를 출시했으며, 이는 네이티브 오디오 입력을 지원하는 최초의 중간 크기 Gemma 모델입니다. QAT (Quantization-Aware Training, 양자화 인식 학습)를 통해 모델 크기를 약 1GB로 줄였습니다. 2026년 6월 5일경 DeepMind는 양자화 인식 학습 (QAT) 체크포인트를 배포했습니다. 이는 Q4_0 빌드와 Gemma 4 E2B의 점유 공간을 약 1GB로 줄여주는 새로운 모바일 특화 형식을 포함합니다. Arm 하드웨어는 이를 대화형으로 만들어 줍니다. Arm의 보고에 따르면 Armv9 CPU에서 실행되는 Gemma 4 E2B는 평균적으로 약 5.5배의 프리필 (prefill) 속도 향상과 최대 1.6배 빠른 디코드 (decode) 속도를 달성했습니다. 이는 단순한 데모가 아닌, 실제 온디바이스 (on-device) 사용이 가능할 만큼 충분히 빠릅니다. 지난 2년 동안 온디바이스의 이야기는 항상 "거의"였습니다. 휴대폰에서 작은 모델을 실행할 수는 있었지만, 유용하기에는 너무 멍청하거나 사용하기에는 너무 느렸습니다...

AI Tech Connect에서 전체 기사 읽기 →