적은 데이터로 더 많이 학습하기: 차트 이해를 위한 반사실(Counterfactuals) 활용

요약

본 논문은 Vision-Language Models(VLMs)이 차트를 이해하는 능력을 향상시키기 위해, 단순히 대규모 합성 데이터셋에 의존하는 기존의 지도 미세 조정(SFT) 방식의 한계를 지적합니다. 이를 해결하기 위해 'ChartCF'라는 새로운 데이터 효율적 훈련 프레임워크를 제안하며, 이 프레임워크는 코드 수정을 통한 반사실 데이터 합성, 차트 유사성 기반 샘플 필터링, 그리고 멀티모달 선호도 최적화를 결합합니다. 실험 결과, ChartCF는 적은 양의 데이터를 사용하면서도 강력한 성능을 달성하여 VLM 훈련의 효율성을 크게 높임을 입증했습니다.

핵심 포인트

• 기존 VLM 기반 차트 이해 모델은 대규모 합성 데이터셋에 의존하는 SFT 방식이 주를 이루어 비효율적일 수 있다.
• 차트는 프로그램으로 생성된 시각적 아티팩트라는 특성상, 미세한 시각적 변화가 의미론에 큰 영향을 주는 '반사실 민감도' 학습이 중요하다.
• 제안된 ChartCF 프레임워크는 코드 수정 기반의 반사실 데이터 합성 파이프라인을 통해 이 민감도를 효과적으로 향상시킨다.
• ChartCF는 데이터 효율성을 높이기 위해 차트 유사성 기반 샘플 필터링 및 멀티모달 선호도 최적화 전략을 통합한다.