통합 멀티모달 모델을 위한 의미론적 생성 튜닝 (Semantic Generative Tuning)

통합 멀티모달 모델 (Unified Multimodal Models, UMMs)은 단일 아키텍처 내에서 시각적 이해 (visual understanding)와 시각적 생성 (visual generation)을 통합하는 것을 목표로 합니다. 그러나 기존의 학습 패러다임은 희소한 텍스트 신호 (sparse text signals)를 통한 이해와 밀집된 픽셀 목적 함수 (dense pixel objectives)를 통한 생성을 독립적으로 최적화합니다. 이러한 분리된 전략은 표현 공간 (representation spaces)의 불일치를 초래하여, 시각적 이해를 생성으로부터 고립시키고 상호 강화 (mutual reinforcement)를 방해합니다. 본 연구는 생성적 사후 학습 (generative post-training)에 대한 최초의 체계적인 조사를 제시하며, UMMs의 고립을 해소하기 위해 계층적 시각 작업 (hierarchical visual tasks)을 생성적 대리 작업 (generative proxies)으로 공식화합니다. 우리의 실증적 조사에 따르면, 고수준의 의미론적 작업 (high-level semantic tasks), 특히 이미지 분할 (image segmentation)이 최적의 대리 작업 역할을 한다는 것을 밝혀냈습니다. 모델을 질감 세부 사항 (texture details)으로 분산시키는 저수준 작업 (low-level tasks)과 달리, 분할 (segmentation)은 시각 중심적 인지 (vision-centric perception)와 생성적 레이아웃 충실도 (generative layout fidelity)를 모두 크게 향상시키는 구조적 의미론 (structural semantics)을 제공합니다. 이러한 통찰을 바탕으로, 우리는 분할을 생성적 대리 작업으로 활용하여 멀티모달 역량을 정렬하고 시너지를 내는 새로운 패러다임인 의미론적 생성 튜닝 (Semantic Generative Tuning, SGT)을 소개합니다. 메커니즘 분석 (Mechanistic analyses)을 통해 SGT가 특징의 선형 분리 가능성 (feature linear separability)을 근본적으로 개선하고 시각-텍스트 어텐션 할당 패턴 (visual-textual attention allocation pattern)을 최적화함을 입증했습니다. 광범위한 평가 결과, SGT는 주요 벤치마크 전반에서 멀티모달 이해 (multimodal comprehension)와 생성 충실도 (generative fidelity)를 일관되게 향상시킴을 보여줍니다. 우리의 코드는 https://song2yu.github.io/SGT/ 에서 확인할 수 있습니다.