X 스레드 (영상 포함): https://x.com/choang333/status/2121335484236386574, https://x.com/_ellisbrown/status/2121335477244428419 논문: https://www.alphaxiv.org/abs/2611.17334 블로그 및 FAQ: https://unbundling.github.io
현재 연구실들은 비전 인코더(vision encoders)에 대해 의견이 분분합니다. Gemma 4 12B는 인코더를 제거했고, Kimi K3는 인코더를 처음부터 학습시키며, Inkling 2 Small은 인코더를 다시 도입했습니다. 발표된 모델들은 데이터와 컴퓨팅 자원이 다르기 때문에 이 문제를 명확히 할 수 없으며, 일반적으로 인코더 사전 학습(encoder pretraining)을 고려하지 않습니다.
표준적인 인코더는 세 가지 선택 사항을 묶어 제공합니다: 별도의 사전 학습, 비전 토큰만 사용하는 파라미터, 그리고 LLM 앞의 배치 위치입니다. 우리는 각 선택 사항을 개별적으로 테스트했습니다.
설정: 동일한 데이터로 처음부터(LLM 포함) 200개 이상의 모델을 학습시켰습니다. 전체 컴퓨팅 자원: 인코더 사전 학습은 멀티모달 학습과 동일한 예산으로 계산됩니다. 주요 비교에는 비전 용량 0.4B를 가진 Qwen3-1.7B 및 4B 구성이 사용되었습니다. 스케일링 사다리(scaling ladder)는 0.6B부터 6.4B까지의 백본 크기를 다룹니다.
평가: Cambrian에서 가져온 16개의 VQA (시각 질의 응답) 벤치마크를 448px에서, 그리고 상식(commonsense), QA, 광범위한 지식을 테스트하는 12개 언어 벤치마크에서 수행되었습니다.
결과: 별도의 사전 학습은 선택 사항입니다. 네 가지 목표(대조적(contrastive), 자기 지도(self-supervised), 두 개의 캡셔닝)로 사전 학습된 인코더는 동일한 컴퓨팅 자원에서 처음부터 학습된 인코더와 가장 잘 맞먹습니다. 심지어 무료 사전 학습도 도움이 되지 않습니다. MetaCLIP을 사전 학습시킨 것은 6.5배 더 많은 시간을 필요로 했으며, ImageNet 선형 프로브 정확도를 높였지만(80.4% → 84.4%), VQA는 그렇지 못했습니다.
비전 전용 파라미터는 필수적입니다. 인코더가 없는 모델은 0.6B부터 6.4B까지 모든 크기에서 뒤처지며, 따라잡기 위해 약 3배의 컴퓨팅 자원이 필요합니다. LLM에 인코더의 파라미터를 제공하는 것은 텍스트 성능을 개선할 뿐 VQA는 그렇지 않습니다.
LLM 앞 배치 위치는 선택 사항입니다. '인-퓨전(In-fusion)'은 초기화된 비전 전용 가중치(어텐션 투영 및 FFN)를 LLM의 처음 8개 레이어에 추가하며, 텍스트 토큰은 이들을 사용하지 않습니다. 이는 1.7B에서 6.4B까지의 인코더와 동등한 성능을 보이며, 첫 번째 토큰까지 걸리는 시간은 약 13% 더 짧습니다.
1.7B 규모에서, 레이어 1~8에 있는 비전 전용 분기(vision-only branches)는 45.0 VQA (인코더 44.4)에 도달하며, 텍스트가 이를 공유할 경우 42.3을 기록하고 마지막 8개 레이어에서는 35.1을 기록합니다. 이는 사전 학습된 대규모 언어 모델(LLM)에서도 동일하게 적용됩니다 (사전 학습된 1.7B LLM에 비전을 중간 훈련 과정(midtraining)에서 추가한 경우). 따라서 비전은 자체 파라미터는 필요하지만, 자체 사전 학습이나 자체 인코더는 필요하지 않습니다. 공개 고지: 저는 저자 중 한 명입니다. 질문에 기꺼이 답변드리겠습니다! 제출자: /u/trungh98 [링크] [댓글]