언어 지능을 위한 확장 가능한 시각 사전 학습

요약

본 논문은 대규모 언어 모델이 텍스트 전용 표현만으로는 부족하며, 시각적 정보를 활용한 사전 학습의 중요성을 제기합니다. 그림이나 레이아웃 등 시각적으로 풍부한 자료를 직접 활용하는 비지도 시각 사전 학습 패러다임을 제시했습니다. 연구 결과, 시각 사전 학습은 텍스트 전용 방식보다 일관되게 우수한 성능을 보여줍니다.

핵심 포인트

• 대규모 언어 모델의 지식 전달에 시각적 표현이 중요함.
• 시각 정보를 텍스트로 변환하는 기존 방식을 개선해야 함.
• 비지도 시각 사전 학습 패러다임을 제안하고 연구를 수행함.
• 시각 사전 학습은 텍스트 전용 방식보다 우수한 성능을 보임.