ByteDance GenLIP 공개: ViT이 언어 토큰을 시각 토큰에서 직접 예측하는 미니멀리스트 생성 사전학습 프레임워크

요약

ByteDance가 Vision Transformer(ViT)를 활용하여 시각 토큰에서 직접 언어 토큰을 예측하는 미니멀리스트 생성 사전학습 프레임워크인 GenLIP을 공개했습니다. 이 프레임워크는 단일 자기회귀적 목표만을 사용하여 훈련되며, 기존 방식 대비 적은 양의 데이터(80억 개)만으로도 뛰어난 성능 개선을 보여주었습니다.

핵심 포인트

• GenLIP은 ViT를 기반으로 시각 토큰에서 언어 토큰을 직접 예측하는 생성 사전학습 프레임워크입니다.
• 단일 자기회귀적 목표(single autoregressive objective)만을 사용하여 모델의 복잡성을 줄였습니다.
• 기존 기법 대비 80억 개의 적은 훈련 샘플만으로도 성능 향상을 달성했습니다.