온디바이스 AI의 새 지평: Gemma 3n 개발자 가이드

요약

Gemma 모델은 이미 커뮤니티를 통해 폭발적인 성장을 거듭하며 다양한 분야에 활용되고 있습니다. 이를 기반으로, 온디바이스 AI 성능을 혁신적으로 끌어올린 'Gemma 3n'이 전격 공개되었습니다. Gemma 3n은 모바일 환경에 최적화된 아키텍처를 채택했으며, 핵심 기술로 MatFormer (Matryoshka Transformer)와 Per-Layer Embeddings (PLE)를 도입했습니다. 이 덕분에 클라우드급 성능을 온디바이스에서 구현할 수 있게 되었으며, 개발자는 E4B 및 E2B 모델 외에도 'Mix-n-Match

핵심 포인트

• Gemma 3n은 모바일 환경에 최적화된 아키텍처를 통해 온디바이스 AI 성능을 대폭 향상시켰습니다.
• 핵심 기술인 MatFormer는 큰 모델 안에 작은 모델이 포함되는 '마트료시카' 구조로, 다양한 크기의 커스텀 모델 생성을 가능하게 합니다.
• Per-Layer Embeddings (PLE) 덕분에 메모리 효율성이 높아져 제한된 온디바이스 장치에서도 고성능 연산이 가능합니다.
• KV Cache Sharing 기능은 스트리밍 응답의 초기 처리 속도(prefill)를 획기적으로 개선하여 실시간 애플리케이션에 적합합니다.