Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
멀티모달 거대 언어 모델(MLLM)의 시각적 추론 성능을 높이기 위해 모달리티 균형을 활용한 새로운 자기 증류 방식인 OPD-V를 제안합니다. 텍스트가 시각 정보를 압도하는 모달리티 불균형 문제를 해결하여 훈련 비용을 줄이면서도 추론 성능을 향상시켰습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기온-폴리시 자기 증류 (On-Policy Self-Distillation, OPSD)는 멀티모달 거대 언어 모델 (Multimodal Large Language Models, MLLMs)의 시각적 추론 능력을 향상시키기 위한 표준적인 사후 학습 (post-training) 접근 방식이 되었습니다. 기존 방법들은 자기 증류를 가이드하기 위해 다양한 입력 소스로부터 특권 정보 (privileged information)를 추출합니다. 그러나 이러한 설계는 MLLM 추론에 내재된 과제인 모달리티 불균형 (Modality Imbalance)을 간과합니다. 텍스트 정보가 생성 과정을 지배할 때, 모델은 멀티모달 입력을 완전히 통합할 수 없습니다. 결과적으로, 정교하게 설계된 특권 정보가 충분히 활용되지 못하여 OPSD의 효과를 제한하게 됩니다. 이러한 한계를 조사하기 위해, 우리는 서로 다른 정도의 모달리티 불균형을 보이는 줌인 이미지 (Zoom-In Image)를 활용한 긍정적 교사 (Positive Teacher)와 마스크 이미지 (Mask Image)를 활용한 부정적 교사 (Negative Teacher)를 구축합니다. 이들의 추론 정확도와 토큰 로짓 (token logits)의 변화를 통해 모달리티 균형 (Modality Balance) 자체가 특권 정보로 기능할 수 있음을 밝혀냈습니다. 이 발견에 착안하여, 우리는 긍정적 교사와 부정적 교사를 통해 이러한 정보를 구현하는 시각적 OPSD 패러다임인 OPD-V를 소개합니다. 긍정적 모달리티 균형 로짓 마진 (Positive Modality-Balance Logits Margins)은 자기 증류에 사용될 온-폴리시 토큰을 선택하는 모달리티 균형 신뢰 영역 (Modality-Balance Trust Region)을 정의합니다. 6개의 벤치마크, 4개의 MLLM 백본 (backbones), 그리고 5개의 사후 학습 방법을 통한 실험 결과, OPD-V는 훈련 비용을 절감하면서도 추론 성능을 일관되게 향상시킴을 보여주었습니다.