다중모달리티와 대형 다중모달 모델 (LMMs)

전통적인 ML 모델이 단일 데이터 모달리티에 국한되었던 것과 달리, 인간의 자연스러운 지능은 텍스트, 이미지, 오디오 등 여러 모달리티를 동시에 처리합니다. 이 글은 이러한 다중모달 데이터를 통합하는 LMM(Large Multimodal Models)의 중요성을 강조하며, GPT-4V와 같은 시스템을 통해 LLM에 추가 모달리티를 결합하여 AI 연구의 최전선이 되고 있음을 설명합니다. 또한 CLIP, Flamingo, BLIP-2 등 주요 아키텍처와 어댑터 기술을 소개하며 다중모달 학습 및 출력을 위한 핵심 원리와 발전 방향을 심도 있게 다룹니다.