인코더 축적을 넘어: 멀티 인코더 VLM에서 인코더의 역할 측정

파운데이션 모델 (Foundation models)이 더 이질적인 시각 스트림 (Visual streams)을 융합하는 방향으로 확장됨에 따라, 공동 학습 (Joint training) 하에서 다양한 인코더 (Encoders)가 어떻게 상호작용하는지 이해하는 것은 원칙적인 설계를 위한 전제 조건이 됩니다. 그러나 현재 대규모 시각-언어 모델 (Large Vision-Language Models, LVLMs)은 이를 수행할 도구가 부족하며, 매개변수 효율적인 인코더 구성 (Parameter-efficient encoder configurations)을 학습 전에 식별하는 것은 여전히 어려운 과제로 남아 있습니다. 공동 학습 하에서의 인코더 역할을 재검토하기 위해, 본 연구에서는 16개의 벤치마크로 구성된 Cambrian-1 스위트 (Cambrian-1 suite)를 사용하여 5개의 일반적인 시각 인코더의 31개 비어 있지 않은 모든 하위 집합을 통합 파이프라인 하에서 재학습 및 평가하였으며(총 약 20,000 GPU 시간 소요), 세 가지 발견 사항을 보고합니다. 첫째, 각 하위 집합을 처음부터 재학습하면 고정된 체크포인트 (Fixed checkpoint)에서 인코더를 마스킹 (Masking)하여 얻은 결과와는 다른 인코더 순위가 드러나며, 여기에는 어떤 인코더가 전체 1위를 차지하는지도 포함됩니다. 둘째, 각 인코더의 기여도를 두 가지 축, 즉 인코더가 단독으로 도달하는 점수인 용량 (Capacity)과 전체 풀 (Full pool)에서 제거되었을 때의 점수 하락분인 필요성 (Necessity)으로 분해합니다. 이 두 축은 서로 대체 가능하지 않습니다. 가장 높은 용량 (Capacity)을 가진 두 인코더를 쌍으로 묶는 것은 최적의 방법이 아니며, 높은 용량의 앵커 (Anchor)와 적응형 보완재 (Adaptive complement)를 쌍으로 묶는 것이 5개 인코더 전체 모델과 일치합니다. 이 쌍을 넘어 추가적인 인코더를 더하는 것은 미미한 이득만을 가져옵니다. 셋째, 고정된 매개변수 수에서 인코더별 프리-프로젝터 (Pre-projector) 유효 순위 (Effective rank)는 잔차 점수 변동 (Residual score variation)을 설명합니다. 가장 강력한 쌍은 공동 학습 중에도 순위가 유지되는 앵커와 공동 학습 하에서 순위가 확장되는 보완재를 결합한 것으로, 이는 더 높은 순위를 가지며 덜 붕괴된 (Less-collapsed) 프로젝터 입력이 인코더-프로젝터 인터페이스 (Encoder-projector interface)에서 더 유리한 최적화 체제 (Optimization regime)에 해당함을 시사합니다. 종합적으로, 용량-필요성 (Capacity-Necessity) 분해와 프리-프로젝터 순위 분석은 재학습을 통한 포괄적인 평가와 함께 멀티 인코더 LVLM 설계의 방법론적 격차를 드러내며, 이를 메우기 위한 구체적인 원형 (Primitives)을 제공합니다.