통합 멀티모달 모델을 위한 의미론적 생성 튜닝 (Semantic Generative Tuning)

요약

통합 멀티모달 모델(UMMs)의 시각적 이해와 생성 능력 사이의 불일치를 해결하기 위해 '의미론적 생성 튜닝(SGT)'이라는 새로운 패러다임을 제안합니다. 이미지 분할(segmentation)을 생성적 대리 작업으로 활용하여 모델의 구조적 의미론을 강화함으로써, 이해와 생성 역량을 동시에 향상시키는 방법을 제시합니다.

핵심 포인트

• 기존 UMMs는 이해(텍스트 신호)와 생성(픽셀 목적 함수)의 최적화 방식이 분리되어 표현 공간의 불일치가 발생함
• 이미지 분할(segmentation)이 시각적 인지와 생성적 레이아웃 충실도를 모두 높이는 최적의 생성적 대리 작업임을 발견함
• SGT는 특징의 선형 분리 가능성을 개선하고 시각-텍스트 어텐션 할당 패턴을 최적화함
• SGT 적용 시 주요 벤치마크에서 멀티모달 이해력과 생성 충실도가 모두 일관되게 향상됨