Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 강력한 텍스트-이미지(T2I) 생성이 인터넷 규모의 언어 사전 학습을 필수로 요구하는지에 대한 의문을 제기하며, 이를 검증합니다. 연구진은 GPIC라는 초기 융합 멀티모달 오토회귀 모델인 Halcyon 패밀리를 소개했습니다. 이 모델은 적은 컴퓨팅 자원으로 기존 최고 성능 모델들을 능가하는 T2I 생성 품질을 보여주었습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG (Machine Learning)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기현대의 텍스트-이미지 (T2I) 시스템은 텍스트 조건부 이미지 생성을 위해 인터넷 규모의 언어 사전 학습을 사용합니다. 우리는 강력한 T2I 생성이 언어 사전 학습을 필요로 하는지 질문합니다. 우리는 GPIC, 즉 1억 개(100M)의 이미지-텍스트 쌍으로 완전히 처음부터 사전 학습된 초기 융합 멀티모달 오토회귀 모델인 Halcyon 패밀리를 소개합니다. Halcyon-0.52B는 18.2$ imes$ 적은 사전 학습 컴퓨팅으로 LlamaGen-XL/8 (48.0 vs. 63.3 gFD)을 능가합니다. 또한, Halcyon-1.6B는 275$ imes$ 적은 사전 학습 컴퓨팅으로 JiT-T2I-XXL/8++ (35.3 vs. 41.0 gFD)를 능가합니다. 통제된 실험을 통해 텍스트만으로는 T2I 생성을 개선하지 못한다는 것을 보여줍니다. Halcyon는 또한 캡션 드롭아웃(caption dropout)을 I2T 감독(supervision)으로 대체하여 이미지 캡셔닝을 학습하며, 동일한 사전 학습 예산 하에서 경쟁력 있는 T2I 생성 품질을 유지합니다. 우리는 강력한 T2I 시스템이 인터넷 규모의 언어 사전 학습 없이 처음부터 훈련될 수 있음을 보여줍니다. 코드와 모델은 https://cs.stanford.edu/~keshik/halcyon 에서 이용 가능합니다.