Fable 5가 작성한 WebGPU 커널을 사용하여 브라우저에서 초당 255 토큰으로 실행되는 Gemma 4 E2B
요약
Fable 5가 최적화한 WebGPU 커널을 통해 Gemma 4 E2B 모델을 브라우저 환경에서 초당 255 토큰의 속도로 실행할 수 있게 되었습니다. M4 Max 환경에서의 성능 데모와 함께 관련 커널 및 모델이 공개되었습니다.
핵심 포인트
- WebGPU 커널 최적화를 통한 브라우저 내 고속 추론 구현
- M4 Max 기준 초당 약 255 토큰의 높은 성능 달성
- Gemma 4 E2B 모델 및 최적화 커널 오픈소스 공개
Fable 5가 종료되기 전, 그들은 우리가 Gemma 4 WebGPU 커널을 최적화하는 것을 도왔으며, 덕분에 나의 M4 Max에서 초당 약 255 토큰 (tokens per second)에 도달했습니다. 오늘, 여러분이 직접 시도해 볼 수 있도록 데모와 커널을 공개합니다. 흥미롭기를 바랍니다!
링크:
- 데모 (+ 커널): https://huggingface.co/spaces/webml-community/gemma-4-webgpu-kernels
- 모델: https://huggingface.co/google/gemma-4-E2B-it-qat-mobile-transformers
제출자: /u/xenovatech
[link] [comments]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0