본 논문은 멀티모달 언어 모델의 시각적 입력 인코딩 방식을 연구하며, 다양한 아키텍처 선택을 분리하여 비교하는 통제된 프레임워크를 제시합니다. 그 결과, 별도의 사전 학습 없이도 공동 훈련된 인코더가 충분한 성능을 보이며, 전용 비전 용량을 백본에 통합하는 것이 가장 효과적임을 발견했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기멀티모달 언어 모델이 시각적 입력을 어떻게 인코딩해야 하는지는 여전히 논쟁거리입니다. 대부분의 모델은 사전 학습된 (pretrained) 비전 인코더를 사용하지만, 최근 일부 방법론(recipes)은 언어 모델과 함께 인코더를 처음부터 훈련하거나 아예 제거합니다.
비전 인코더는 세 가지 설계 선택을 결합합니다: 상위 사전 학습(upstream pretraining)에서 온 시각적 사전 지식(visual prior), 전용 비전 용량(dedicated vision capacity), 그리고 그 용량을 통합하기 이전(pre-fusion placement, 즉 멀티모달 백본 이전에) 배치하는 것입니다. 발표된 모델들은 데이터, 아키텍처, 컴퓨팅 자원에서도 차이가 나기 때문에, 이들을 비교한다고 해서 각 선택의 효과를 분리하여 측정할 수 없습니다.
우리는 모든 모델을 공통 데이터로 처음부터 사전 학습시키고, 동일한 수명 주기 컴퓨팅 자원(matched lifetime compute)에서 시각적 질의응답(visual question answering) 및 언어 벤치마크에서 비교하는 통제된 프레임워크를 통해 이러한 선택들을 분리합니다. 그 결과, 우리는 시각적 사전 지식(visual prior)이 필요하지 않다는 것을 발견했습니다. 처음부터 공동으로 훈련된 인코더는 별도의 훈련 단계 없이도 사전 학습된 것과 동등한 성능을 보입니다. 대신 중요한 것은 전용 비전 용량입니다: 인코더가 없는 모델이라 할지라도, 백본에 인코더의 파라미터 수만큼 확장되었을 때 시각적 이해력에서 우위를 점합니다.
그러나 그 용량이 멀티모달 융합(multimodal fusion) 이전에 있을 필요는 없습니다. 왜냐하면 초기 백본 레이어에 통합되어 추가된 비전 전용 모듈은 사전 융합 인코더와 비교할 만한 성능을 보이며 첫 토큰까지의 시간(time to first token)을 낮출 수 있기 때문입니다. 이러한 결과는 백본 크기 전반, 인코더 사전 학습이 무료로 간주될 때, 그리고 사전 학습된 언어 모델에서 시작할 때도 유지됩니다.
전반적으로, 우리의 발견은 백본과 공동으로 훈련되고 그 내부에 초기에 배치된 전용 비전 용량을 선호합니다.