Liquid AI의 d1-omni-600M 모델을 브라우저에서 WebGPU로 구동하기

Liquid가 d1-omni-600M을 공개했는데, 이건 의사결정(decision) 모델입니다! 제가 현재 작업 중인 WebGPU 추론 라이브러리인 runntime에 포팅했습니다. WASM 없이 TypeGPU 위에 순수 TypeScript로 구현되었고, 내보내기 단계가 거의 없습니다. 이 모델은 저희의 핵심 연산(matmul, attention, norms, 몇 가지 elementwise 비트)에서 직접 작성되었으며, 가중치는 HF safetensors에서 바로 로드됩니다. 영상 속 데모는 실시간으로 중재되는 가짜 댓글 피드입니다. 각 댓글은 4가지 질문을 받습니다: 유해한가(toxic)? 스팸인가(spam)? 무언가를 묻고 있는가(asking something)? 전반적인 분위기는 어떠한가(overall tone)? '유해함'과 '스팸'으로 판별된 것은 제거됩니다. 4가지 질문에 대한 댓글당 약 180ms, 질문당 약 45ms가 소요됩니다. 이 모델을 위해 엔진 튜닝에 시간을 좀 더 투자하면 성능은 훨씬 좋아질 가능성이 높습니다. 저는 이것으로 스네이크 게임도 만들어보려고 시도했지만, 잘 되지는 않았네요 lol. d1 포트는 아직 npm 릴리스에는 포함되지 않았습니다. runntime의 나머지 기능들(탐지, 분할, 음성-텍스트 변환, 임베딩 등)이 있습니다. 문서 및 라이브 데모: https://docs.swmansion.com/runntime 포팅이나 WebGPU 관련하여 질문 있으시면 기꺼이 답변드리겠습니다. submitted by /u/FinancialAd1961 [link] [comments]