데이터 감사로 LVLM 성능 향상: EVIAN 프레임워크 소개

요약

대규모 비전-언어 모델(LVLMs)의 성능은 학습 데이터 품질에 크게 좌우되지만, 기존 데이터셋들은 일관성 없는 품질과 미묘한 오류를 잡아낼 수 없는 한계가 있습니다. 본 논문은 이러한 문제를 해결하기 위해 EVIAN (Explainable Visual Instruction-tuning Data AuditiNg)이라는 자동화된 프레임워크를 제안합니다. EVIAN은 모델의 응답을 시각적 설명, 주관적 추론, 사실적 주장 등 구성 요소로 분해하여 분석하는 '분해 후 평가(Decomposition-then-Evaluation)' 패러다임

핵심 포인트

• EVIAN 프레임워크는 이미지-텍스트 일관성, 논리적 일관성, 사실적 정확성을 기준으로 모델 응답을 감사합니다.
• 모델의 응답을 구성 요소별로 분해하여 분석하는 '분해 후 평가' 방식이 핵심적인 진단 도구입니다.
• EVIAN으로 정제된 소규모 고품질 데이터셋이 대규모 저품질 데이터셋보다 더 우수한 모델 성능을 보였습니다.
• 데이터 품질 감사 시 논리적 일관성(Logical Coherence)이 가장 중요한 요소로 밝혀졌습니다.