(본 게시물은 hlky와 Sayak이 작성했습니다)

고해상도 이미지 및 비디오 합성을 위해 잠재 공간(latent-space) 확산 모델을 사용할 때, VAE 디코더(decoder)가 상당한 양의 메모리를 소비할 수 있습니다. 이로 인해 사용자들이 지연 시간 감소 등의 방법을 거치지 않고 소비자용 GPU에서 이러한 모델을 실행하기 어려워집니다.

예를 들어, 오프로딩(offloading) 방식에는 장치 전송 오버헤드(device transfer overhead)가 있어 전체 추론 지연 시간(inference latency)에 지연을 초래합니다. 타일링(Tiling)은 입력의 소위 '타일'로 작동할 수 있게 하는 또 다른 해결책이지만, 최종 이미지 품질에 부정적인 영향을 미칠 수 있습니다.

따라서 저희는 커뮤니티와 함께 아이디어를 시범 운영하고자 합니다. 바로 디코딩 프로세스를 원격 엔드포인트(remote endpoint)로 위임하는 것입니다.

데이터를 저장하거나 추적하지 않으며, 코드는 오픈 소스입니다. 저희는 huggingface-inference-toolkit에 일부 변경을 가하고 사용자 지정 핸들러(custom handlers)를 사용했습니다.

이 실험적인 기능은 Diffusers 🧨에서 개발되었습니다.

목차:

• 시작하기 (Getting started)

• 코드 (Code)

• 기본 예제 (Basic example)

• 옵션 (Options)

• 생성 (Generation)

• 대기열 관리 (Queueing)

• 사용 가능한 VAE (Available VAEs)

• 원격 VAE 사용의 장점 (Advantages of using a remote VAE)

• 피드백 제공 (Provide feedback)

아래에서 저희가 이 원격 VAE 추론이 유용할 것이라고 생각하는 세 가지 사용 사례를 다룹니다.

먼저, 원격 VAE와 상호 작용하기 위한 헬퍼 메서드를 만들었습니다.

설치 (Install)

diffusers
을 main에서 실행하여 코드를 실행합니다. pip install git+https://github.com/huggingface/diffusers@main

코드

from diffusers.utils.remote_utils import remote_decode

여기서는 임의의 텐서(random tensors)에 원격 VAE를 사용하는 방법을 보여줍니다.

코드

image = remote_decode(
endpoint=