Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
ParVL은 MLLM의 메모리 및 지연 시간 문제를 해결하기 위해 제안된 병렬 비전-언어 스케일링 프레임워크입니다. 기존의 고정된 연산 할당 방식에서 벗어나, 공유 백본 파라미터를 여러 브랜치에 재사용하여 작업 특화된 최적의 연산 배분을 가능하게 합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기멀티모달 거대 언어 모델 (Multimodal Large Language Models, MLLMs)을 위한 기존의 스케일링 전략은 일반적으로 모델 파라미터(parameters)를 확장하거나 순차적 추론 연산(sequential inference computation)을 확장하며, 이 과정에서 상당한 메모리 또는 지연 시간(latency) 오버헤드가 발생합니다. 더 중요한 점은, 대부분의 기존 방식이 Vision Transformer (ViT)와 거대 언어 모델 (Large Language Model, LLM) 구성 요소 간의 경직되고 고정된 연산 할당을 변경하지 못하여, 작업 특화된 최적화(task-specific optimization)를 제한한다는 것입니다. 이를 해결하기 위해, 우리는 MLLM을 위한 병렬 비전-언어 (Parallel Vision-Language, ParVL) 스케일링 프레임워크를 소개합니다. 이 프레임워크는 기존의 ViT 및 LLM 백본(backbone) 파라미터를 여러 비전 및 언어 브랜치(branch)에 걸쳐 재사용함으로써 병렬 연산을 확장합니다. 이 프레임워크는 다음과 같은 핵심 질문을 제기합니다: 고정된 백본 파라미터 예산이 주어졌을 때, 추가적인 공유 백본 연산을 비전 및 언어 모달리티(modalities) 사이에 어떻게 할당해야 하는가? 우리는 공유 백본 위에 브랜치별 접두사 파라미터(prefix parameters)를 사용하여 각 병렬 연산 스트림을 구현하였으며, 약 13B 토큰에 대해 전체 파라미터 지도 학습 미세 조정 (full-parameter supervised fine-tuning)을 통해 전체 모델을 엔드 투 엔드 (end-to-end)로 학습시켰습니다. 우리는 ViT 인코더 (encoder)와 LLM 디코더 (decoder) 사이의 연산 할당 트레이드오프 (trade-off)를 체계적으로 연구합니다. ParVL은 동일한 레시피를 가진 단일 브랜치 베이스라인 (baselines) 대비 전반적인 멀티모달 성능을 향상시키며, 평가된 최적의 비전-언어 할당은 작업에 따라 달라집니다. 코드는 https://github.com/YangYangGirl/ParVL 에서 확인할 수 있습니다.