무게는 이제 끝났다 - 소비자 GPU에서의 인터랙티브 확산 모델(Diffusion)

온디바이스 추론은 급증하고 있지만, 그 모멘텀은 거의 전적으로 언어 모델에 집중되어 있습니다. 확산 파이프라인(Diffusion pipelines)은 메모리를 많이 사용하고(memory hungry), 지연 시간에 민감하며(latency-sensitive), 임베더(embedder), 트랜스포머(transformer), 디코더(decoder)를 오케스트레이션해야 하며, 종종 LLM 추론 루프만큼 표준화되지 않은 추가 후처리 과정이 필요합니다. 우리는 성능, 품질, 모델 크기(model footprint) 사이의 상충 관계를 탐색하여 가능한 한 많은 실제 클라이언트 장치에 도달하는 것을 목표로 합니다. 우리는 세 가지 기여를 합니다: 작은 텍스트 인코더를 큰 인코더 공간으로 매핑하여 가중치와 지연 시간을 줄이는 임베딩 변환기(embedding translator); 확산 파이프라인에서 속도/품질/메모리 삼각형을 탐색하기 위한 재현 가능한 스윕 레시피; 그리고 최신 GPU에서 서브-세컨드 TTFI(Time To First Image)를 달성하는 인터랙티브 온디바이스 이미지 생성 에디터입니다.