Vision-OPD: 온폴리시 자기 증류 (On-Policy Self-Distillation)를 통한 멀티모달 LLM의 미세 세부 사항 인식

요약

Vision-OPD는 멀티모달 LLM이 이미지 내 미세한 시각적 정보를 놓치는 '지역적-전역적 인지 격차' 문제를 해결하기 위한 자기 증류 프레임워크입니다. 모델이 크롭된 이미지(지역적 정보)를 통해 얻은 높은 인지 능력을 전체 이미지(전역적 정보)를 처리할 때도 활용할 수 있도록 학습시키는 방식입니다. 이를 통해 외부 도구나 추가 라벨 없이도 모델 스스로 시각적 줌(visual zooming) 효과를 내재화하여 미세 세부 사항 인식 능력을 향상시킵니다.

핵심 포인트

• 지역적-전역적 인지 격차(regional-to-global perception gap) 현상 발견
• 크롭 조건부 교사와 전체 이미지 조건부 학생을 활용한 온폴리시 자기 증류 방식 제안
• 외부 교사 모델, 정답 라벨, 보상 검증기 없이도 학습 가능
• 미세 시각적 이해 벤치마크에서 기존 오픈 소스 및 폐쇄형 모델 대비 우수한 성능 입증