Vision-OPD: 온폴리시 자기 증류 (On-Policy Self-Distillation)를 통한 멀티모달 LLM의 미세 세부 사항 인식
요약
Vision-OPD는 멀티모달 LLM이 이미지 내 미세한 시각적 정보를 놓치는 '지역적-전역적 인지 격차' 문제를 해결하기 위한 자기 증류 프레임워크입니다. 모델이 크롭된 이미지(지역적 정보)를 통해 얻은 높은 인지 능력을 전체 이미지(전역적 정보)를 처리할 때도 활용할 수 있도록 학습시키는 방식입니다. 이를 통해 외부 도구나 추가 라벨 없이도 모델 스스로 시각적 줌(visual zooming) 효과를 내재화하여 미세 세부 사항 인식 능력을 향상시킵니다.
핵심 포인트
- 지역적-전역적 인지 격차(regional-to-global perception gap) 현상 발견
- 크롭 조건부 교사와 전체 이미지 조건부 학생을 활용한 온폴리시 자기 증류 방식 제안
- 외부 교사 모델, 정답 라벨, 보상 검증기 없이도 학습 가능
- 미세 시각적 이해 벤치마크에서 기존 오픈 소스 및 폐쇄형 모델 대비 우수한 성능 입증
멀티모달 거대 언어 모델 (Multimodal Large Language Models, MLLMs)은 여전히 미세한 시각적 이해 (fine-grained visual understanding)에 어려움을 겪고 있으며, 여기서 답변은 종종 전체 이미지 내의 작지만 결정적인 증거에 의존합니다. 우리는 지역적-전역적 인지 격차 (regional-to-global perception gap)를 관찰했습니다. 즉, 동일한 MLLM이라도 해당 전체 이미지보다 증거 중심의 크롭 (crops)을 조건으로 주었을 때 미세한 질문에 더 정확하게 답변한다는 것입니다. 이는 많은 실패 사례가 국소적 인식 능력의 부족보다는 관련 증거에 집중하는 데 어려움을 겪기 때문에 발생함을 시사합니다. 이러한 관찰에 착안하여, 우리는 모델 자신의 특권적인 지역적 인식을 전체 이미지 정책 (full-image policy)으로 전달하는 지역적-전역적 자기 증류 (self-distillation) 프레임워크인 Vision-OPD (Vision On-Policy Distillation)를 제안합니다. Vision-OPD는 동일한 MLLM으로부터 두 가지 조건부 정책을 구현합니다: 크롭 조건부 교사 (crop-conditioned teacher)와 전체 이미지 조건부 학생 (full-image-conditioned student)입니다. 학생 모델은 온폴리시 롤아웃 (on-policy rollouts)을 생성하며, Vision-OPD는 이러한 롤아웃을 따라 교사와 학생의 다음 토큰 분포 (next-token distributions) 사이의 토큰 수준 발산 (token-level divergence)을 최소화합니다. 이를 통해 모델은 외부 교사 모델, 정답 라벨 (ground-truth labels), 보상 검증기 (reward verifiers) 또는 추론 시 도구 사용 (inference-time tool use) 없이도 시각적 줌 (visual zooming)의 이점을 내재화할 수 있습니다. 여러 미세 시각적 이해 벤치마크에서의 실험 결과, Vision-OPD 모델은 훨씬 더 큰 오픈 소스, 폐쇄형 소스 및 "이미지로 생각하기 (Thinking-with-Images)" 에이전트 모델들에 대해 경쟁력 있거나 우수한 성능을 달성함을 보여줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기