표현 오토인코더 (Representation Autoencoders)를 통한 베이스라인 개선

요약

본 논문은 기존 VAE를 사전 학습된 비전 인코더로 대체하는 표현 오토인코더(Representation Autoencoders, RAE)의 성능을 개선하는 세 가지 설계 방안을 제시합니다. 인코더의 마지막 k개 레이어를 활용한 표현 정의, RAE와 REPA의 상호 보완적 관계 규명, 그리고 DiT 모델의 재매개변수화를 통한 AutoGuidance 효율화 문제를 다룹니다.

핵심 포인트

• 마지막 k개 인코더 레이어의 합을 표현으로 정의함으로써 별도의 미세 조정 없이도 재구성 성능을 향상시킴
• RAE와 REPA(Representation Alignment)는 서로 대체 관계가 아닌 상호 보완적인 메커니즘임을 발견
• 동일한 표현을 중간 확산 레이어의 인코더와 타겟 모두로 활용 가능함
• DiT 모델의 출력을 재매개변수화하여 AutoGuidance를 위한 추가 학습 없이 x-예측 문제를 해결