마지막 레이어를 넘어: 시각 토큰화를 위한 다중 레이어 표현 융합

요약

본 논문은 기존의 표현 오토인코더가 마지막 인코더 레이어에서만 특징을 추출하여 발생하는 시각 정보 손실 문제를 해결하기 위해 다중 레이어 특징 융합 모듈 DRoRAE를 제안합니다. DRoRAE는 에너지 제약 라우팅과 증분 보정을 통해 모든 인코더 레이어를 적응적으로 집계하며, 이를 통해 풍부해진 잠재 표현을 생성합니다. 실험 결과, ImageNet-256에서 rFID 및 생성 FID가 크게 개선되었으며, 이는 텍스트-이미지 합성 등 다양한 분야에 전이 가능함을 입증했습니다.

핵심 포인트

• 기존 오토인코더는 마지막 레이어의 특징만 사용해 저수준 시각 디테일 손실 문제가 발생함.
• DRoRAE(Depth-Routed Representation AutoEncoder)는 에너지 제약 라우팅과 증분 보정을 사용하여 모든 인코더 레이어를 적응적으로 융합하는 경량 모듈임.
• 제안된 방법은 ImageNet-256에서 rFID 및 생성 FID를 크게 개선하여 높은 재구성 품질을 달성함.
• 연구진은 '표현 풍부도(representation richness)'라는 새로운 확장 차원을 발견하고, 이를 시각 토큰화기의 예측 가능한 설계 원리로 제시함.