GAP: 멀티모달 대규모 언어 모델의 시각 추론을 위한 세밀한 정렬 패러다임

요약

본 논문은 멀티모달 대규모 언어 모델(MLLM)의 시각 잠재 추론 과정에서 발생하는 불안정성을 진단하고, 이를 해결하기 위한 새로운 프레임워크인 GAP (Granular Alignment Paradigm)를 제안합니다. 기존 방법들이 특징 공간 불일치로 인해 신뢰도가 떨어지는 문제를 안고 있었는데, GAP는 세 가지 수준(특징, 컨텍스트, 용량)에서 시각 잠재 추론을 정렬하여 모델의 성능과 안정성을 크게 향상시킵니다.

핵심 포인트

• MLLM의 시각 잠재 추론은 기존 방식에서 특징 공간 불일치로 인해 불안정성이 발생할 수 있습니다.
• GAP (Granular Alignment Paradigm)는 세 가지 수준(특징, 컨텍스트, 용량)에서 시각 잠재 추론을 정렬하는 방법을 제안합니다.
• 첫째, PCA-aligned latent head를 사용하여 디코더 출력을 입력과 호환되는 시각적 잠재로 매핑합니다 (특징 수준 정렬).
• 둘째, 보조 시각 감독(auxiliary visual supervision)을 통해 잠재 목표를 접지시키고, 셋째, 어려운 예제에 선택적으로 잠재 감독을 할당하여 모델의 학습 효율성을 높입니다.
• Qwen2.5-VL 7B 테스트 결과, GAP가 기존 지도 학습 변형 중 가장 높은 평균 통합 지각 및 추론 성능을 달성했습니다.