일반화된 시각 언어 모델

요약

본 기사는 이미지 캡셔닝이나 VQA와 같은 시각-언어 작업의 최신 접근법을 소개합니다. 기존 시스템이 객체 탐지 네트워크를 사용하여 시각적 특징을 추출한 후 텍스트 디코더로 생성하는 방식에 의존했다면, 이 글은 사전 학습된 일반화된 언어 모델(PLM)을 확장하여 직접 시각 신호를 소비할 수 있도록 하는 방법을 중점적으로 다룹니다.

핵심 포인트

• 시각-언어 작업(이미지 캡셔닝, VQA 등)은 오랫동안 연구되어 온 분야이다.
• 전통적인 접근 방식은 객체 탐지 네트워크를 시각 인코더로 사용하고 텍스트 디코더가 텍스트를 생성하는 구조였다.
• 본 글의 초점은 사전 학습된 일반화된 언어 모델(PLM)을 확장하여 시각 신호를 직접 처리할 수 있게 하는 새로운 접근법에 맞춰져 있다.