대부분의 "멀티모달 (multimodal)" 모델 발표는 아키텍처 접근 방식을 중요하게 고려할 만큼 명확하게 명시하지 않습니다. 그렇기에 MiMo-V2.5가 스스로를 "네이티브 옴니모달 (native omnimodal)"이라고 명시적으로 브랜딩한 것은 단순한 마케팅 용어로 취급하기보다 파헤쳐 볼 가치가 있습니다.

두 가지 아키텍처 패턴을 높은 수준에서 살펴보면 다음과 같습니다:

볼트온 멀티모달 (Bolt-on multimodal): 강력한 언어 모델 (language model)로 시작한 다음, 비텍스트 입력을 언어 모델이 소비할 수 있는 임베딩 (embeddings)으로 변환하는 모달리티별 인코더 (modality-specific encoders, 예: 비전 인코더, 오디오 인코더)를 부착합니다. 언어 모델은 핵심 추론 엔진으로 남게 되며, 다른 모달리티들은 모델이 처리할 수 있는 무언가로 번역되지만, 근본적인 처리는 여전히 텍스트 중심 (text-centric)입니다.

네이티브 옴니모달 (Native omnimodal): 텍스트를 다른 모달리티가 번역되어 들어오는 주요 기질 (substrate)로 취급하는 대신, 처음부터 동일한 통합 시스템 내에서 여러 모달리티를 처리하도록 아키텍처를 설계합니다. 보고에 따르면 MiMo-V2.5는 별도로 학습된 텍스트 모델 위에 레이어를 쌓는 대신, 전용 비전 및 오디오 인코더를 자신의 MoE 백본 (MiMo-V2-Flash 아키텍처 기반)에 직접 통합합니다.

이 구분이 단순히 아키텍처의 우아함을 넘어 실질적인 결과를 초래하는 이유는 다음과 같습니다. 볼트온 방식은 번역 경계에서 교차 모달 정보 (cross-modal information)를 손실하는 경향이 있습니다. 예를 들어 오디오와 비디오 사이의 미묘한 타이밍 관계나, 시각적 및 텍스트적 맥락이 순차적이 아닌 공동으로 추론될 때만 의미를 갖는 세부 사항들이 이에 해당합니다. 네이티브 아키텍처가 실제로 (단순히 아키텍처적으로 더 깔끔한 것을 넘어) 교차 모달 신호를 더 많이 보존하는지는 경험적인 문제이며 보장된 이점은 아닙니다. 하지만 이러한 모델을 평가할 때, 단순히 종합 벤치마크 점수에 의존하기보다 던져야 할 올바른 질문입니다.

효율성 측면은 별개의 문제이며 이 또한 주목할 가치가 있습니다. MiMo-V2.5는 Mixture-of-Experts (MoE) 설계를 사용하며, 보고된 바에 따르면 총 파라미터는 약 310B(3,100억 개)이고 토큰당 활성 파라미터는 약 15B(150억 개)입니다. 이는 네이티브/볼트온 구분과는 다른 레버(lever)이지만, 범위(coverage) 측면에서 종종 이와 혼동되곤 합니다. MoE는 기본적으로 추론 효율성 (inference-efficiency)을 위한 선택입니다 (대규모 용량, 토큰당 낮은 활성 연산량). MoE 자체가 모달리티(modalities)가 네이티브하게 처리되는지 아니면 볼트온 방식으로 처리되는지를 결정하지는 않습니다. 모델을 비교할 때는 이 두 가지 설계 축, 즉 모달리티 통합 전략 (modality integration strategy)과 파라미터 효율성 전략 (parameter efficiency strategy)을 분석적으로 분리하여 유지하는 것이 중요합니다. 왜냐하면 모델은 밀집 구조 (dense architecture)를 가진 네이티브 옴니모달 (native-omnimodal)일 수도 있고, MoE를 사용하는 볼트온 멀티모달 (bolt-on multimodal)일 수도 있으며, 이 둘을 혼동하면 특정 모델의 동작을 실제로 구동하는 요인이 무엇인지 흐려지기 때문입니다.

결론을 내리기 전에 제가 실제로 보고 싶은 것은 다음과 같습니다: 단순히 모달리티별 벤치마크를 평균 낸 것이 아니라, 모달리티 간의 공동 추론 (joint reasoning)을 요구하도록 특별히 설계된 작업에 대한 벤치마크 성능, 그리고 아키텍처 측의 주장이 교차 모달리티 타이밍 (cross-modal timing)이나 문맥 (context)이 진정으로 중요한 작업에서 측정 가능한 수준의 차별화된 동작으로 이어지는지에 대한 독립적인 평가입니다. 이는 볼트온 파이프라인 (bolt-on pipeline)이 변환 경계 (translation boundary)에서 정보를 손실할 가능성이 있는 종류의 작업입니다.

많은 혼란 변수(confounding variables)가 포함된 아키텍처 차이를 가진 모델들 간의 전반적인 능력을 비교하는 대신, 네이티브 대 볼트온 변수만을 구체적으로 분리하여 비교를 수행한 사례가 있는지 궁금합니다.