멀티모달 연구 허브 - Vision-Language Models (VLMs)
요약
본 자료는 Vision-Language Models (VLMs) 및 멀티모달 학습에 대한 포괄적인 연구 허브입니다. 주요 모델, 핵심 데이터셋(VQA, 객체 탐지 등), 벤치마크, 최신 연구 방향, 윤리적 과제까지 체계적으로 정리하여 제공합니다. 최근의 발전 동향과 다양한 응용 분야를 한눈에 파악할 수 있는 자료입니다.
핵심 포인트
- VLMs와 멀티모달 학습을 위한 종합적인 참고 자료집임.
- 주요 모델, 데이터셋, 벤치마크 등 연구 전반을 다룸.
- VQA, 객체 탐지 등 다양한 핵심 기술 분야를 포함함.
- 최신 연구 방향과 윤리적 과제까지 폭넓게 다루고 있음.
멀티모달 연구 허브 - Vision-Language Models (VLMs)
<strong>Vision-Language Models 및 멀티모달 학습을 위한 살아있는 자료실
(논문, 모델, 데이터셋, 벤치마크, 도구, 윤리적 과제, 연구 방향)</strong>
목차 (Table of contents)
- 주요 모델 (Seminal models) (Post-2021)
- 데이터셋 (Datasets)
- 핵심 학습 데이터셋 (Core Training Datasets)
- 이미지 분류 (Image Classification)
- 객체 탐지 (Object Detection)
- 시맨틱 분할 (Semantic Segmentation)
- 액션 인식 (Action Recognition)
- 이미지-텍스트 검색 (Image-Text Retrieval)
- 시각적 질의응답 (Visual Question Answering, VQA)
- 명령어 튜닝 (Instruction Tuning)
- 편향 (Bias)
- 비디오 이해 (Video Understanding)
- 추가 데이터셋 (Additional Datasets)
- 벤치마크 (Benchmarks)
- 연구 방향 (Research Directions)
- 윤리적 과제 (Ethical Challenges)
- 개인 정보 보호 프레임워크 (Privacy Protection Framework)
- 도구 (Tools)
- 새로운 응용 분야 (Emerging Applications)
🔗 주요 모델 (Seminal models) (Post-2021)
<!-- Seminal models --><a id="seminal-models"></a>
2025년
<a id="sm-2025"></a>
-
MiniCPM-o 2.6 - 비전, 음성 및 언어 모달리티 전반에 걸쳐 콘텐츠를 이해하고 생성할 수 있는 8B 파라미터 멀티모달 모델
-
Janus-Pro-7B - 멀티모달 이해 및 생성을 통합하는 자기회귀(autoregressive) 프레임워크
-
Gemma3-4b-it - 128k 토큰 컨텍스트 창을 가진 가장 작은 멀티모달 모델 중 하나로, 140개 이상의 언어를 지원
-
Qwen2.5-VL-3B-Instruct - 현지화부터 문서 이해 및 에이전트 작업에 이르기까지 다양한 작업을 처리할 수 있으며, 최대 32k 토큰의 컨텍스트 길이를 가짐
-
MiniCPM-V - 온디바이스 친화적(<6 GB RAM), MMBench에서 70% 점수를 기록하며, 30개 이상의 언어 및 1.8 M-픽셀 이미지를 지원
-
CogVLM2-Video - 시간적 인지(Temporal-aware)를 기반으로 하며, CogVLM2에 3D RoPE를 추가하여 긴 비디오 클립을 처리하고 Video-MME에서 63%에 도달
-
Ovis - 디코더 전용(Decoder-only), 네이티브 동적 타일링(AnyRes++)을 지원하며, 128k 컨텍스트와 OCRBench 및 DocVQA에서 SOTA를 달성
-
MobileCLIP2 - FastVLM 스타일 파이프라인용 드롭인 비전 타워로 설계된 이미지-텍스트 쌍 인코더이며, 동일한 제로샷(zero-shot) top-1에서 CLIP-L보다 2배 빠름
-
PerceptionLM (PLM) - 상세한 이미지 및 비디오 이해에 중점을 두었으며, 벤치마크에서 SigLIP2(이미지)와 InternVideo2(비디오)를 능가하는 “Perception Encoder (PE)” 변형을 포함합니다
-
DeepSeek-VL2 - MoE, 3B/16B 파라미터 (활성 3B). 필드 IoT, 과학 진단에 효율적이며, 지연 시간의 절반으로 MMMU에서 Cambrian-1을 능가합니다
-
Kwai Keye-VL - 디코더 전용, 8B 파라미터, Qwen-3-8B 백본. 짧은 형식의 수직 비디오 이해 및 모바일 우선 VQA에 맞게 조정되었습니다. Kuaishou에서 Apache-2.0으로 출시했습니다
-
Qwen2.5-Omni - 종단 간(end-to-end) 7B 범용 모델 (오디오-이미지-비디오-텍스트). Qwen2-Audio 인코더와 Qwen2.5-VL ViT를 공유하며, 모든 모달리티에 통합 토크나이저를 사용합니다. Apache-2.0
-
OmniGen2 - 하이브리드 디코더 + VAE. LLaVA-OneVision 및 SAM-LLaVA 혼합으로 훈련되었으며, 범용 생성(any-to-any generation)을 지원합니다
-
BLIP3-o - 디코더 전용, 4B 및 8B 변형. 60K GPT-4o 생성 지침-이미지 쌍으로 미세 조정되었으며, 개방형 캡셔닝과 창의적 편집에 탁월합니다
-
InternVL3 - [
기능: 더 나은 장문맥 이해를 위해 가변 시각 위치 인코딩(Variable Visual Position Encoding, V2PE)을 사용합니다. 효율적인 이미지 처리를 위해 픽셀 언셔플링(pixel unshuffling) 및 동적 해상도 전략을 활용합니다. 학습 데이터에는 도구 사용, GUI 작업, 과학 다이어그램 등이 포함됩니다. LMDeploy의 api_server를 통해 OpenAI와 호환되는 API로 배포할 수 있습니다](https://huggingface.co/OpenGVLab/InternVL3-78B)
- Falcon-2 11B VLM - 디코더 전용(Decoder-only), CLIP ViT-L/14 동적 인코더, Apache-2.0 라이선스. 다국어 OCR 및 세밀한 시각적 접지(fine-grained visual grounding)를 위해 구축되었습니다
- Eagle 2.5 - 8B 파라미터의 디코더 전용 아키텍처로, 장문맥 멀티모달 학습을 위해 설계되었으며, 입력 길이에 따라 동적으로 조정 가능한 컨텍스트 창(context window) 기능을 갖추고 있습니다. 점진적 사후 훈련(progressive post-training)을 활용하여 모델의 컨텍스트 창을 점진적으로 늘립니다. 512개 입력 프레임으로 Video-MME에서 72.4%를 달성하며, GPT-4o와 같은 최고 수준 상용 모델 및 Qwen2.5-VL-72B, InternVL2.5-78B와 같은 대규모 오픈소스 모델의 결과를 일치시킵니다
- Llama 3.2 Vision - 11B 및 90B 파라미터의 디코더 전용 아키텍처로, 영어, 독일어, 이탈리아어, 포르투갈어, 힌디어, 스페인어, 태국어를 포함한 8개 언어를 지원합니다. 참고: 이미지+텍스트 애플리케이션의 경우 영어만 지원됩니다. 멀티모달 복합 추론을 위해 최적화된 128k 토큰 컨텍스트 창을 특징으로 합니다
- VLM-R1 - DeepSeek의 R1 방식을 기반으로 Qwen2.5-VL과 결합하여, 이미지 내 특정 목표 위치 파악과 같은 표현적 표현 이해(Representational Expression Comprehension, REC)에 탁월합니다. 성능 향상을 위해 RL 및 SFT를 사용합니다. 공동 이미지 및 텍스트 처리를 지원하며 오픈소스 학습 코드와 데이터셋을 제공합니다
- Kimi-VL - [효율적인 오픈소스 MoE 기반 VLM입니다. 언어 디코더(Kimi-VL-A3B)에서 2.8B 파라미터만 활성화합니다.]}{
다중 턴 에이전트 상호작용 작업 및 다양한 비전 언어(Vision-Language) 작업에서 강력한 성능을 보여줍니다. 긴 입력을 처리하기 위해 128K 확장 컨텍스트 창(context window)을 갖추고 있습니다. 초고해상도 시각적 입력 처리를 위해 네이티브 해상도 비전 인코더(MoonViT)를 활용합니다. 강력한 장기 예측 추론 능력(long-horizon reasoning capabilities)을 위해 Kimi-VL-Thinking 변형 모델을 도입했습니다](https://github.com/MoonshotAI/Kimi-VL/blob/main/Kimi-VL.pdf)
- Molmo 시리즈 - [Ai2가 개발한 네 가지 모델: MolmoE-1B, Molmo-7B-O, Molmo-7B-D, 그리고 Molmo-72B. MolmoE-1B는 OLMoE-1B-7B 기반이며, Molmo-7B-O는 OLMo-7B-1024 기반, Molmo-7B-D는 Qwen2 7B 기반, Molmo-72B는 Qwen2 72B 기반입니다. 비전 언어 작업에서 높은 성능으로 알려져 있으며, Molmo-72B는 많은 독점 시스템(proprietary systems)을 능가합니다.]
- Skywork-R1V - 시각적 사고 사슬(visual chain-of-thought) 기능을 갖춘 오픈 소스 멀티모달 추론 모델입니다. 수학 및 과학 분석, 그리고 교차 모드 이해를 지원합니다. 효율적인 추론을 위해 양자화된 버전(AWQ)이 출시되었습니다
- DeepSeek Janus 시리즈 - 분리된 시각 인코딩 경로를 가진 통합 트랜스포머 아키텍처로, Janus-Pro(7B 및 1B), Janus(1.3B), 그리고 JanusFlow(1.3B) 매개변수 크기로 제공됩니다. 영어와 중국어를 지원하며, 최대 4,096 토큰 길이의 시퀀스 처리를 위해 설계되었습니다
- Pixtral 12B & Pixtral Large - [12B(Pixtral 12B) 및 124B(Pixtral Large) 매개변수를 가진 디코더 전용 아키텍처입니다. 12B 멀티모달 디코더와 400M 비전 인코더를 결합했습니다. Pixtral Large는 Mistral Large 2와 1B 시각 인코더를 통합합니다. 수십 개의 언어를 지원하며 128k 토큰 컨텍스트 창을 특징으로 합니다.]
Mistral AI가 개발했으며, 이미지와 텍스트 데이터를 혼합하여 처리하는 효율성으로 알려진 모델](https://huggingface.co/mistralai/Pixtral-12B-2409)
- Gemma3 - Google의 Gemini 2.0 아키텍처를 기반으로 하며, 1B/4B/12B/27B 매개변수를 가진 디코더 전용(Decoder-only) 아키텍처로, 멀티모달리티와 140개 이상의 언어를 지원하고, 128k 토큰 컨텍스트 창과 함수 호출 기능이 특징입니다
- PH4 Mini - 최적화된 트랜스포머 레이어를 사용하고 Microsoft의 Phi-4 프레임워크를 사전 학습 백본으로 활용하여, 효율적인 완성(completion) 작업에 설계된 전문 매개변수를 가진 디코더 전용(Decoder-only) 아키텍처입니다
- Aya Vision 32B - 32B 매개변수를 가진 디코더 전용(Decoder-only) 아키텍처로, 고급 시각 언어 이해를 위해 설계되었으며, 23개 언어를 지원하고 동적 이미지 처리 기능이 특징입니다
- Ola - OryxViT를 비전 인코더로, Qwen-2.5-7B, SigLIP-400M, Whisper-V3-Large, BEATs-AS2M(cpt2)을 사전 학습 백본으로 사용하는 7B 매개변수를 가진 디코더 전용(Decoder-only) 아키텍처입니다
- Qwen2.5-VL - 재설계된 ViT를 비전 인코더로, Qwen2.5를 사전 학습 백본으로 사용하는 3B/7B/72B 매개변수를 가진 디코더 전용(Decoder-only) 아키텍처입니다
- Ocean-OCR - NaViT를 비전 인코더로, 처음부터 사전 학습된 3B 매개변수를 가진 디코더 전용(Decoder-only) 아키텍처입니다
- SmolVLM - SigLIP를 비전 인코더로, SmolLM을 사전 학습 백본으로 사용하는 250M 및 500M 매개변수를 가진 디코더 전용(Decoder-only) 아키텍처입니다
2024
AI 자동 생성 콘텐츠
본 콘텐츠는 GitHub AI Research의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기