대부분의 '브라우저에서 모델 실행' 데모는 여전히 서버나 WebGPU에 의존합니다. 이 프로젝트는 그렇지 않습니다: LiquidAI의 LFM 2.5-350M을 위한 순수 WebAssembly 추론 엔진으로, 4비트(Q4_0)로 양자화되어 브라우저에서 완전히 온디바이스(on-device)로 실행됩니다 — 네이티브 코드도, 백엔드도, 추론 시 네트워크 연결도 없습니다. 포함된 기능: 직접 작성한 WASM SIMD 커널(gemm/gemv, GQA attention, conv, RoPE) — 선형대수 라이브러리 없음. 프롬프트를 토큰별로 처리하지 않도록 배치(Batched) 사전 채우기(prefill). Q8 어텐션 투영을 사용한 4비트 가중치(Q4_0); ChatML 프롬프트 템플릿. 모델이 스트리밍되는 동안 진행률 표시줄과 함께 작은 AI 채팅 UI (스트리밍, 중지 버튼, 실시간 토큰/초, 마크다운)가 있습니다.

호스팅 방식: 285 MB의 가중치는 Hugging Face에 라이브로 게시되어 있습니다: https://huggingface.co/celsowm/lfm2.5-350m-wasm-q4_0 앱 자체는 정적이며 GitHub Pages에 배포되었습니다: https://celsowm.github.io/lfm-wasm/

페이지 로드 시, Pages에서 어휘(vocab)/병합(merges)을 가져오고 HF에서 가중치를 가져온 다음, 로컬에서 실행됩니다. 코드는 GitHub에, 모델은 HF에 보관되어 있습니다. 사용해 보세요: https://celsowm.github.io/lfm-wasm/

저장소(Repo): https://github.com/celsowm/lfm-wasm
가중치(Weights): https://huggingface.co/celsowm/lfm2.5-350m-wasm-q4_0
제출자: /u/celsowm [링크] [댓글]