CGC: Fine-Grained Multi-Image Understanding 을 위한 Compositional Grounded Contrast

요약

본 논문은 다중 모드 대형 언어 모델(MLLMs)이 직면하는 세밀한 다중 이미지 이해의 어려움(공간적 환각, 주의력 누출 등)을 해결하기 위한 저비용 프레임워크인 Compositional Grounded Contrast (CGC)를 제안합니다. CGC는 기존 단일 이미지 기반 주석을 활용하여 Inter-Image Contrast와 Intra-Image Contrast를 도입함으로써 의미론적으로 분리된 방해 요소 컨텍스트와 객체 일관성을 확보하는 구성적 다중 이미지 학습 인스턴스를 구축합니다. 또한, Think-before-Grounding 패러다임에 규칙 기반 공간 보상(Rule-Based Spatial Reward)을 추가하여 소스 이미지 귀속 및 구조화된 출력 유효성을 개선했으며, 다양한 벤치마크에서 우수한 성능 향상을 입증했습니다.

핵심 포인트

• CGC는 세밀한 다중 이미지 이해를 위한 저비용 프레임워크로, 고비용의 인간 주석이나 대규모 CoT 데이터에 의존하지 않습니다.
• Inter-Image Contrast와 Intra-Image Contrast를 도입하여 상호 이미지 판별을 위한 의미론적 분리 및 객체 일관성을 확보합니다.
• Think-before-Grounding 패러다임 하에서 규칙 기반 공간 보상(Rule-Based Spatial Reward)을 추가하여 모델의 추론 정확도와 구조화된 출력 유효성을 높입니다.
• 제안된 CGC는 MIG-Bench, VLM2-Bench 등 다중 이미지 벤치마크뿐만 아니라 MathVista, MMStar 등 다양한 상위 수준의 멀티모달 작업에서도 성능 향상을 입증했습니다.