MPerS: 동적 MLLM MixExperts 인식 기반 원격 탐사 장면 분할

요약

본 논문은 원격 탐사(RS) 장면의 복잡한 멀티모달 융합 문제를 해결하기 위해 MPerS(Dynamic MLLM MixExperts Perception-Guided Remote Sensing Scene Segmentation)를 제안합니다. 기존 연구들이 아키텍처 최적화에 집중했던 것과 달리, 본 방법은 고품질 RS 캡션 생성 및 이를 활용한 의미론적 분할에 초점을 맞춥니다. 특히, DINOv3로 추출된 시각적 특징과 언어학적 질의 안내 어텐션을 통해 MLLM(LLaVA, ChatGPT, Qwen 등)이 다양한 전문가 관점에서 장면을 인식하고 정밀하게 분할하도록 유도합니다.

핵심 포인트

• 원격 탐사(RS) 분야에서 멀티모달 융합의 핵심은 고품질 RS 캡션 생성 및 의미론적 통합에 있음을 강조했습니다.
• MPerS는 Dynamic MLLM Mixture-of-Experts 구조를 사용하여 여러 전문가 관점에서 원격 장면을 인식하고 분할합니다.
• DINOv3 임베딩과 언어학적 질의 안내 어텐션을 결합하여 텍스트 의미 정보를 시각적 특징에 정밀하게 통합하는 것이 핵심입니다.
• LLaVA, ChatGPT, Qwen 등 다양한 MLLM을 활용하여 방법론의 범용성과 성능을 입증했습니다.