WebGPU를 사용하여 브라우저에서 로컬로 실행되는 오픈 소스 SDXL

평소와 같은 복잡한 설정 없이 간단하게 로컬에서 이미지를 생성할 데가 필요했습니다. 가상 환경(Virtual environments)도 필요 없고, 복잡한 그래프를 가진 ComfyUI를 exe 파일로 설치할 필요도 없어야 했습니다.

그래서 이 모든 것을 브라우저 안으로 밀어 넣어 WebGPU 상에서 실행하는 시도를 해보았습니다.
이것은 브라우저 확장 프로그램(Browser extension)입니다. 설치하면 모델을 로드하고, 그 이후에는 사용자의 GPU에서 오프라인으로 실행됩니다.
텍스트 인코더(Text encoders), UNet, VAE는 ONNX 그래프를 사용하며, 브라우저의 WebGPU 스택에서 실행됩니다.

Github: https://github.com/d0grr/generate-ai-images
Firefox: https://addons.mozilla.org/en-US/firefox/addon/generate-ai-images/
Chrome: https://chromewebstore.google.com/detail/generate-ai-images/agcbeefcfjkldpankmceehdhbpldakae

현재 2개의 모델이 지원됩니다:

SDXL-Lighting fp16 (~7 GB 저장 공간)
사양이 낮은 그래픽 카드를 위한 4-bit 버전 (~3.6 GB 저장 공간)

대략적인 상황을 설명해 드리자면: 브라우저에서 모델을 로드할 때 약 10초 동안 멈추며, 생성 완료 시점에도 멈춥니다. 이유는 Chrome의 GPU 프로세스 내에서 발생하는 동기식(Synchronous) WebGPU 셰이더 컴파일(Shader compilation) 때문입니다. Web Worker를 사용해도 도움이 되지 않습니다. 병목 현상(Bottleneck)은 GPU 프로세스에 있기 때문입니다.

요구 사항:

WebGPU를 지원하는 브라우저가 필요합니다(정말인가요?). Chrome/Edge 122+ 버전 또는 최신 버전의 Firefox가 필요합니다.
SDXL-Lighting fp16의 경우 최소 ~7 GB 저장 공간과 ~8 GB VRAM이 필요합니다.
또는 4-bit 버전 SDXL-Lighting의 경우 최소 ~3.6 GB 저장 공간과 ~4-5 GB VRAM이 필요합니다.

속도의 경우, 제 14인치 MacBook M4에서는 이미지 한 장을 처리하는 데 약 50-60초가 걸립니다.
저는 이것이 가능한지 확인하기 위해 시작했습니다. 작동은 합니다, 그게 전부입니다. 다른 하드웨어에서는 어떻게 작동할지 궁금하네요.

submitted by /u/xoqq
[link] [comments]