모든 것은 WebGPU를 통해 브라우저 내부 또는 electron/tauri 앱에서 실행됩니다. 이는 완전히 휴대 가능하며 Nvidia 및 Apple Silicon (Metal)을 모두 지원합니다. 실제 커널(kernels)은 장치의 특정 하드웨어에 최적화되어 있습니다. Nvidia 커널은 멀티 패스 아키텍처(multi-pass architecture)로 공격적으로 융합(fused)되어 있는 반면, Apple Silicon 커널은 WebGPU의 타일 기반 지연 렌더링 (Tile Based Deferred Rendering, TBDR) 오버헤드를 최소화하기 위해 융합된 메가 커널(fused mega-kernel)로 생성됩니다. 데모: https://warp.sipp.sh RTX 3090 (webgpu) M4 (webgpu) LFM 2.5 230M 1400-1500 tok/s 400-500 tok/s Bonsai 1.7B 500-600 tok/s 100-150 tok/s 이것은 여전히 활발히 개발 중이며, 앞으로 몇 주 안에 이 기능을 Sipp 라이브러리에 통합할 예정입니다. /u/lordhiggsboson에 의해 제출됨 [link] [comments]