GEAR: 10배 더 빠른 자기회귀 (Autoregressive) 이미지 생성

요약

Tencent Hunyuan이 개발한 GEAR는 VQ 토크나이저와 AR 생성기를 엔드투엔드로 공동 학습시켜 기존 LlamaGen-REPA보다 10배 빠른 이미지 생성을 구현합니다. 또한 FlashMorph를 통해 트랜스포머를 하이브리드 어텐션 모델로 변환하여 연산 효율성을 높이는 방법론을 제시합니다.

핵심 포인트

• GEAR: VQ 토크나이저와 AR 생성기의 공동 학습을 통한 고속 이미지 생성
• LlamaGen-REPA 대비 약 10배 빠른 자기회귀 이미지 생성 속도 달성
• FlashMorph: 하이브리드 어텐션을 활용한 트랜스포머의 연산 효율화
• 긴 문맥 회상 성능을 유지하면서도 낮은 연산량으로 모델 변환 가능