Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
MLLM의 성능 향상을 위해 모델의 실패 사례를 기반으로 이미지를 스스로 증강하는 FISA 프레임워크를 제안합니다. 시각적 복잡성을 높이면서도 의미론적 왜곡을 방지하는 필터링을 통해 데이터 효율성을 극대화합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기멀티모달 거대 언어 모델 (Multimodal Large Language Models, MLLMs)은 시각-언어 작업 전반에 걸쳐 놀라운 성능을 달성했지만, 이들의 발전은 주석(annotation) 비용이 많이 드는 대규모의 고품질 멀티모달 데이터에 크게 의존합니다. 자기 증강 (Self-augmentation)은 외부의 감독 없이 모델이 스스로 학습 데이터를 확장할 수 있게 함으로써 유망한 대안을 제공합니다. 그러나 기존의 MLLM 자기 증강 방법들은 주로 텍스트 중심적이며, 이미지 증강은 여전히 미개척 분야로 남아 있으며 모델의 실제 무능력(incapability)과 약하게 정렬된 일반적이거나 수작업으로 제작된 변환(transformations)에 의존하는 경우가 많습니다. 우리는 모델 자신의 실패 사례로부터 증강된 이미지를 구축하는 MLLM 자기 개선을 위한 프레임워크인 실패 기반 이미지 자기 증강 (Failure-informed Image Self-Augmentation, extbf{FISA})을 제안합니다. 우리의 방법은 시각적으로는 도전적이지만 정답은 유지되는 이미지 복잡성 (image complications)을 생성하고, 자기 검토 (self-examination)를 통해 그 유용성을 검증하며, 의미론적 왜곡 (semantic distortion)을 방지하기 위해 이중 충실도 필터링 (dual fidelity filtering)을 적용합니다. 시각적 질의응답 (Visual Question Answering, VQA) 벤치마크에 대한 실험 결과, 제안된 방법이 분포 내 (in-distribution) 및 분포 외 (out-of-distribution) 설정 모두에서 성능을 일관되게 향상시킴을 보여줍니다. 추가 실험을 통해 FISA가 기존의 텍스트 자기 증강 접근 방식과 호환됨을 확인하였으며, 일반적인 이미지 증강 베이스라인에 비해 합성된 샘플의 우수한 데이터 효율성, 그리고 제안된 필터링 전략의 실질적인 효과를 검증하였습니다.