Qwen-Image-VAE-2.0 기술 보고서

arxiv.org/pdf/2605.13565

"우리는 재구성 충실도(reconstruction fidelity)와 확산 가능성(diffusability) 모두에서 상당한 발전을 이룬 고압축 변이형 오토인코더 (Variational Autoencoders, VAEs) 제품군인 Qwen-Image-VAE-2.0을 선보입니다. 고압축 시 발생하는 재구성 병목 현상을 해결하기 위해, 우리는 전역 스킵 연결 (Global Skip Connections, GSC)과 확장된 잠재 채널 (latent channels)을 특징으로 하는 개선된 아키텍처를 채택했습니다. 또한, 학습 규모를 수십억 개의 이미지로 확장하고, 텍스트가 풍부한 시나리오에서의 성능을 향상시키기 위해 합성 렌더링 엔진 (synthetic rendering engine)을 통합했습니다. 고차원 잠재 공간(latent space)의 수렴 문제를 해결하기 위해, 우리는 잠재 공간이 확산 모델링(diffusion modeling)에 매우 적합하도록 만드는 강화된 의미론적 정렬 (semantic alignment) 전략을 구현했습니다. 계산 효율성을 최적화하기 위해, 인코딩 오버헤드를 최소화하는 비대칭 및 어텐션 프리 (attention-free) 인코더-디코더 백본을 활용합니다. 우리는 공개 재구성 벤치마크에서 Qwen-Image-VAE-2.0에 대한 종합적인 평가를 제시합니다. 텍스트가 풍부한 시나리오에서의 성능을 평가하기 위해, 우리는 다양한 실제 문서 컬렉션과 특화된 OCR 기반 평가 지표로 구성된 새로운 벤치마크인 OmniDoc-TokenBench를 제안합니다. Qwen-Image-VAE-2.0은 최첨단(state-of-the-art) 재구성 성능을 달성하며, 높은 압축률에서도 일반 도메인과 텍스트가 풍부한 시나리오 모두에서 탁월한 능력을 입증합니다."

나아가, 다운스트림 DiT 실험을 통해 우리 모델이 우수한 확산성 (diffusability)을 보유하고 있음을 확인하였으며, 기존의 고압축 베이스라인(baselines)과 비교하여 수렴(convergence) 속도를 현저히 가속화합니다. 이는 Qwen-Image-VAE-2.0이 높은 압축률, 우수한 재구성 성능, 그리고 탁월한 확산성 (diffusability)을 갖춘 선도적인 모델임을 입증합니다.

주요 혁신 사항:

• 전역 스킵 연결 (Global Skip Connections, GSC): 이러한 구조적 변화를 통해 모델이 원본 이미지의 미세한 세부 사항을 "기억"하고 이를 압축 병목(compression bottleneck)을 통해 직접 전달할 수 있게 하여, 최종 출력물의 선명도를 크게 향상시킵니다.
• 비대칭 및 어텐션 프리 백본 (Asymmetric & Attention-Free Backbone): 이미지를 처리하는 **인코더 (encoder)**는 매우 가볍고 빠르게 만들면서, 이미지를 재구성하는 **디코더 (decoder)**는 강력하게 유지했습니다. VAE 자체에서 "어텐션 (Attention)" 레이어를 제거함으로써 연산 비용 (FLOPs)을 획기적으로 줄였습니다.
• 의미론적 정렬 전략 (Semantic Alignment Strategy): 이미지 생성(확산성)에 더 적합한 모델을 만들기 위해, 잠재 공간 (latent space)이 시각적 "의미"와 더 밀접하게 정렬되도록 강제했습니다. 이는 다운스트림 모델이 훨씬 더 빠르게 학습하는 데 도움을 줍니다.
• 텍스트를 위한 합성 렌더링 (Synthetic Rendering for Text): 대규모의 합성 렌더링된 문서 세트를 포함하여 수십억 개의 이미지로 모델을 학습시켰습니다. 이를 통해 이 VAE는 대부분의 다른 VAE들이 실패하는 OCR이 풍부한 (OCR-rich) 이미지(문서, 포스터, 표지 등)를 재구성하는 데 탁월한 능력을 발휘합니다.

alibaba/OmniDoc-TokenBench

"우리는 OmniDoc-TokenBench (~3K개의 텍스트가 풍부한 이미지, 256×256 해상도)에 대해 종합적인 평가를 수행합니다. 모델들은 공간 압축률 (spatial compression factor)에 따라 그룹화되며, 각 그룹 내에서 NED 순으로 정렬됩니다."

우리의 Qwen-Image-VAE-2.0은 모든 압축률 (compression ratios)에 걸쳐 최첨단 (state-of-the-art) 재구성 성능을 달성합니다. f16c128 변체 (variant)는 SSIM 0.9706 및 PSNR 30.45 dB를 달성하였으며, 이는 2배 더 높은 공간 압축률 (spatial compression)에도 불구하고 가장 우수한 f8 베이스라인 (FLUX.1-dev의 0.9364 / 26.24 dB)을 능가하는 수치입니다. 텍스트 충실도 (text fidelity, NED) 측면에서 f16c128은 0.9617에 도달하여 평가된 모든 VAE를 넘어섰습니다. 극단적인 f32 압축 환경에서도 우리의 f32c192는 NED 0.8555를 달성하며 여러 f16 베이스라인을 능가합니다.