Vision-Language Model(VLM)이란 무엇이며 어떻게 작동하는가?

LLM은 읽고 씁니다. VLM은 보고, 읽고, 쓰고 합니다. Vision-Language Model은 컴퓨터 비전과 자연어 처리를 융합한 멀티모달 시스템으로, 따라서 이미지를 개별적으로 처리하고 텍스트를 개별적으로 처리하는 대신 이미지와 텍스트에 대해 함께 추론할 수 있습니다. 마법은 투영(projection)에 있습니다. VLM은 비전 인코더에서 이미지 특징을 가져와 이를 텍스트 토큰과 동일한 임베딩 공간으로 투영합니다. 사진과 단어가 하나의 공유 공간에 존재하게 되면, 디코더 전용 언어 모델이 이 둘 모두에 어텐션(attention)할 수 있고 조합으로부터 텍스트를 생성할 수 있습니다. 데이터가 어려운 부분입니다. VLM은 LAION-5B, PMD, VQA, ImageNet을 포함하여 대규모의 정렬된 이미지-텍스트 쌍이 필요하며, 이러한 데이터를 큐레이팅하는 것은 단순한 텍스트 스크래핑보다 훨씬 복잡합니다. 현재 실제 제품에 동력을 공급하고 있습니다: 이미지 캡셔닝(image captioning), 시각적 질의응답(visual question answering), 그리고 이미지-플러스-텍스트 검색입니다. 아직 해결되지 않았습니다. 편향성(bias), 환각(hallucination), 분포를 벗어난 데이터에 대한 낮은 일반화 성능, 엄청난 컴퓨팅 비용, 그리고 훈련 데이터와 관련된 윤리적 질문들이 모두 여전히 열려 있는 문제입니다.Read All