시각-언어 모델 (Vision-Language Models, VLMs)은 멀티모달 융합 (multimodal fusion)을 목표로 하는 대규모 이미지-텍스트 학습에 힘입어 광범위한 이해 및 추론 작업에서 상당한 진전을 이루었습니다. 이상적으로는 텍스트 질문을 그에 해당하는 렌더링된 이미지로 교체하더라도 모델 성능에는 본질적으로 영향이 없어야 합니다. 그러나 실제로는 이러한 양식 치환 (modality substitution)이 급격한 성능 저하를 유발합니다. 우리는 이러한 "캐리어 민감도 (carrier sensitivity)" 문제를 현재 학습 코퍼스 (training corpora)에 내재된 편향 때문이라고 판단합니다. 이미지 캡셔닝 (image captioning), VQA, OCR 및 웹 소스 인터리브 데이터 (interleaved data)와 같은 널리 사용되는 데이터셋에서 텍스트와 이미지는 일반적으로 텍스트는 언어적 질의 (linguistic queries)로, 이미지는 시각적 참조 (visual references)로 작용하는 뚜렷하고 비대칭적인 역할을 수행하도록 구성됩니다. 이러한 데이터 편향은 VLMs가 서로 다른 양식 (modalities)에 대해 정보 습득 시 뚜렷한 선호도를 보이게 만듭니다. 결과적으로 VLMs는 텍스트와 시각적 캐리어 (carriers) 간에 의미론적으로 동일한 콘텐츠의 표현 (representations)을 정렬하는 데 실패하며, 이로 인해 양식 치환 시 모델의 추론이 취약해집니다. 이를 해결하기 위해, 우리는 의미론적으로 동일한 텍스트 및 이미지 캐리어 간의 교차 양식 표현 불변성 (cross-modal representational invariance)에 대한 감독 (supervision)을 제공하도록 설계된 가볍고 아키텍처에 구애받지 않는 데이터 큐레이션 패러다임인 LoMo (Local Modality Substitution)를 제안합니다. LoMo는 단일 양식 프롬프트 (single-modality prompts)를 매끄럽게 인터리브된 멀티모달 시퀀스 (multimodal sequences)로 재구성함으로써 이를 달성합니다. LoMo는 대상 텍스트 스팬 (text spans)을 동적으로 선택하고 이를 렌더링된 이미지로 재구성하여, "텍스트, 시각, 텍스트" 캐리어 전반에 걸쳐 동일한 의미를 유지합니다. 13개의 다양한 멀티모달 벤치마크에 걸친 광범한 실험을 통해 LoMo가 전반적인 멀티모달 추론을 크게 향상시키고 더 깊은 교차 양식 융합을 이끌어낸다는 것을 입증했습니다. 구체적으로, LoMo는 파운데이션 모델 (foundational models) 전반에 걸쳐 일관된 이득을 제공하며, 표준 SFT (Supervised Fine-Tuning) 대비 LLaVA-OneVision-1.5-8B에서 2.67포인트, Qwen3.5-9B에서 2.82포인트를 향상시켰습니다.