GEAR: 10배 더 빠른 자기회귀 (Autoregressive) 이미지 생성

Tencent Hunyuan의 새로운 방법론은 VQ 토크나이저 (VQ tokenizers)와 AR 생성기 (AR generators)를 엔드투엔드 (end-to-end)로 공동 학습시켜, 새로운 이중 판독 (dual read-out) 방식으로 LlamaGen-REPA를 능가합니다. 모든 토크나이저는 Hugging Face에 있습니다.

논문 (Paper):
https://paperswithcode.co/paper/2606.32039
…
모델 (Models):
https://huggingface.co/collections/BinLin203/gear-tokenizer
…
코드 (Code):
https://github.com/Tencent-Hunyuan/GEAR
…

하이브리드 어텐션 모델 (Hybrid Attention Models)로의 변형

FlashMorph는 사전 학습된 트랜스포머 (Transformers)를 하이브리드 어텐션 모델 (hybrid attention models)로 변환하여, 더 낮은 연산량으로 강력한 긴 문맥 회상 (long-context recall) 성능을 유지할 수 있도록 어떤 레이어가 전체 어텐션 (full attention)을 유지하고 어떤 레이어가 선형 어텐션 (linear attention)을 사용할지 선택합니다.

ByteDance Seed, Fudan, 그리고 CUHK 연구진에 의해 작성되었습니다.