대규모 파운데이션 모델의 급속한 발전은 주로 대규모 텍스트 코퍼스에서의 사전 학습에 의해 주도되어 왔습니다. 하지만 많은 형태의 지식은 시각적 표현을 통해 전달되며, 여기서 그림, 조판된 방정식, 페이지 레이아웃 등은 텍스트만으로는 충실하게 또는 완전히 포착할 수 없는 풍부한 정보를 담고 있습니다. 그럼에도 불구하고 현재의 사전 학습 접근 방식들은 문서나 웹페이지와 같이 시각적으로 풍부한 자료들을 언어 지능을 학습하기 위해 일반 텍스트로 변환함으로써 이러한 시각적 단서들을 무시합니다. 본 논문은 대규모 언어 모델이 텍스트 전용 표현으로만 훈련되어야 한다는 기본 가정을 반박하고, 시각 사전 학습(Visual Pretraining)이 파운데이션 모델 지능을 위한 확장 가능한 학습자임을 보여줍니다. 이를 위해, 우리는 텍스트 추출 없이 시각적 문서를 직접 활용하는 비지도 시각 사전 학습 패러다임에 대한 체계적인 연구를 수행합니다. 여러 백본과 벤치마크 전반에 걸쳐, 동일한 기반 코퍼스에 대한 시각 사전 학습은 텍스트 전용 사전 학습보다 일관되게 우수한 성능을 보이며, 확장 가능한 언어 지능으로 가는 효율적인 경로를 제시합니다.