멀티모달 거대 언어 모델 (Multimodal Large Language Models, MLLMs)을 위한 기존의 스케일링 전략은 일반적으로 모델 파라미터(parameters)를 확장하거나 순차적 추론 연산(sequential inference computation)을 확장하며, 이 과정에서 상당한 메모리 또는 지연 시간(latency) 오버헤드가 발생합니다. 더 중요한 점은, 대부분의 기존 방식이 Vision Transformer (ViT)와 거대 언어 모델 (Large Language Model, LLM) 구성 요소 간의 경직되고 고정된 연산 할당을 변경하지 못하여, 작업 특화된 최적화(task-specific optimization)를 제한한다는 것입니다. 이를 해결하기 위해, 우리는 MLLM을 위한 병렬 비전-언어 (Parallel Vision-Language, ParVL) 스케일링 프레임워크를 소개합니다. 이 프레임워크는 기존의 ViT 및 LLM 백본(backbone) 파라미터를 여러 비전 및 언어 브랜치(branch)에 걸쳐 재사용함으로써 병렬 연산을 확장합니다. 이 프레임워크는 다음과 같은 핵심 질문을 제기합니다: 고정된 백본 파라미터 예산이 주어졌을 때, 추가적인 공유 백본 연산을 비전 및 언어 모달리티(modalities) 사이에 어떻게 할당해야 하는가? 우리는 공유 백본 위에 브랜치별 접두사 파라미터(prefix parameters)를 사용하여 각 병렬 연산 스트림을 구현하였으며, 약 13B 토큰에 대해 전체 파라미터 지도 학습 미세 조정 (full-parameter supervised fine-tuning)을 통해 전체 모델을 엔드 투 엔드 (end-to-end)로 학습시켰습니다. 우리는 ViT 인코더 (encoder)와 LLM 디코더 (decoder) 사이의 연산 할당 트레이드오프 (trade-off)를 체계적으로 연구합니다. ParVL은 동일한 레시피를 가진 단일 브랜치 베이스라인 (baselines) 대비 전반적인 멀티모달 성능을 향상시키며, 평가된 최적의 비전-언어 할당은 작업에 따라 달라집니다. 코드는 https://github.com/YangYangGirl/ParVL 에서 확인할 수 있습니다.