커스텀 WebGPU 커널을 사용하여 브라우저에서 1,400 tok/s로 실행되는 LFM2.5 230M

요약

커스텀 WebGPU 커널을 활용하여 브라우저 환경에서 LFM2.5-230M 모델을 로컬로 실행하는 기술을 소개합니다. M4 Max 환경에서 초당 1,400 토큰의 빠른 추론 속도를 구현했습니다.

핵심 포인트

• WebGPU 커널을 통한 브라우저 내 로컬 LLM 실행
• LFM2.5-230M 모델 사용 및 GGUF 포맷 활용
• M4 Max 기준 1,400 tok/s의 높은 추론 성능 달성