흥미롭지 않은 부분도 있지만, 동시에 그 크기와 매우 빠르다는 주력 때문에 흥미롭다. 또한 텐센트(Tencent)와 위챗(WeChat)의 지원을 받고 있다.
우리는 텍스트-이미지 생성(text-to-image generation), 지침 기반 편집(instruction-guided editing), 다중 참조 합성(multi-reference synthesis)에 멀티모달 이해를 통합한 통합 이미지 파운데이션 모델인 WeLM-Image를 소개한다. 위챗의 대규모 소비자 애플리케이션에서 단일 GPU 배포를 위해 설계된 이 모델은 텍스트, 참조 이미지, 목표 잠재값(target latents)을 하나의 인터리브드 시퀀스(interleaved sequence)로 처리한다. 트랜스포머 혼합(Mixture-of-Transformers, MoT) 백본은 공유 어텐션과 독립적인 이해 및 생성 매개변수를 결합하여 최적화 간섭을 제한한다. 각 경로에 전문가 혼합(Mixture-of-Experts, MoE) 모듈을 장착함으로써 희소 용량(sparse capacity)을 제공하며, 31.7B의 저장된 매개변수와 목표 잠재값 토큰당 약 5.4B의 생성 매개변수가 활성화된다. 생성 지향 데이터 엔진은 의미론적 커버리지와 편집 작업을 균형 있게 맞추기 위해 지식 기반 시각 어휘(knowledge-grounded visual vocabulary)를 대규모 시각 클러스터링과 결합하며, 훈련 시간 평가가 반복적인 데이터 정제를 안내한다.
이중 언어 주석(Bilingual annotations)과 검증된 편집 감독은 네이티브 1.5K 해상도까지 점진적 훈련을 지원한다. 우리는 루브릭 및 체크리스트 기반 보상을 사용하여 생성과 편집을 개별적으로 최적화한 다음, 노이즈 인식 온-정책 증류(noise-aware on-policy distillation)를 통해 전문화된 정책들을 통합한다. 보고된 전반적인 비교에서 1536 해상도 모델은 PRISM-Bench, Qwen-Image-Bench, UnicBench에서 평가된 오픈 소스 모델 중 최고 순위를 차지했다. MeanFlow 기반의 몇 단계 증류(few-step distillation)를 통해 WeLM-Image-Turbo가 탄생했으며, 이는 단일 NVIDIA H20 GPU에서 8단계 가이던스 프리(guidance-free) 과정을 사용하여 4.98초 만에 1024×1024 이미지를 생성한다.
논문: https://arxiv.org/html/2611.07392v1
제출자 /u/Crazy-Repeat-2006 [링크] [댓글]