Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
SelfBootTok은 이미지 토큰화 시 전역 및 지역 정보를 분리하여 중복성을 해결하는 새로운 방법론을 제안합니다. 이를 통해 생성기의 연산량을 40% 절감하면서도 우수한 재구성 및 생성 성능을 달성했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.GR (Graphics)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기이미지 토큰화(Image Tokenization)의 발전에도 불구하고, 표준적인 방법들은 각 토큰 내에 모든 입도(Granularity)를 혼합함으로써 중복된 정보를 인코딩하며, 이로 인해 토큰 간의 중복성이 지속됩니다. 서로 다른 입도의 정보가 혼합되는 것은 생성기(Generator)의 학습을 복잡하게 만들기도 합니다. 본 논문은 정보를 전역(Global) 및 지역(Local) 토큰 그룹으로 깔끔하게 분해함으로써 이 문제를 해결하는 방법론인 SelfBootTok을 소개합니다. 셀프 부트스트랩 학습(Self-bootstrapped learning)을 통해, 모델은 전역 토큰으로부터 지역적 세부 사항(Local details)만을 독점적으로 예측하며, 시각적 세부 사항의 부담을 생성기에서 토크나이저(Tokenizer)로 전환합니다. 결과적으로 우리의 생성기는 전역 토큰만을 필요로 하여 연산량을 약 40% 줄이면서도 훨씬 더 효율적이며, 동시에 우수한 재구성(Reconstruction) 및 생성 성능을 제공합니다. 또한, 이 패러다임은 우아하게 확장 가능합니다. 지역 표현 학습(Local representation learning)을 자기 지도(Self-supervise)하기 위해 더 많은 데이터나 파라미터를 활용함으로써, SelfBootTok은 단 64개의 토큰만을 사용하여 1.56이라는 새로운 SOTA(State-of-the-art) gFID 점수를 달성합니다.