Theia: Data-Free Distillation을 위한 Incidents1M 데이터셋의 대규모 멀티모달 캡셔닝 및 자동 검증

원문 발행 2026. 07. 30. 23:23원문 언어 영어AI 한국어 번역arXiv cs.AI 원문 보기

요약

재난 관리 도메인을 위한 대규모 멀티모달 데이터셋 구축 및 자동 검증 방법론을 제안합니다. Incidents1M 데이터셋에 Qwen3.5를 활용해 고품질 캡션을 생성하고, 이미지-맹목적 LLM-as-a-Judge 파이프라인으로 데이터 없는 지식 증류(DFKD)를 위한 검증 체계를 구축했습니다.

핵심 포인트

Incidents1M 데이터셋 기반 10만 개의 고충실도 멀티모달 캡션 생성
Qwen3.5 4B 및 35B MoE 모델을 활용한 텍스트 복구
이미지를 가린 LLM-as-a-Judge를 통한 모달리티 간극 시뮬레이션 검증
데이터 없는 지식 증류(DFKD)를 위한 확장 가능한 프레임워크 제공

재난 관리와 같은 중요한 도메인에서 시각-언어 모델 (Vision-Language Models, VLMs)을 배포하려면 고품질의 멀티모달 데이터셋이 필요하며, 특히 데이터 없는 지식 증류 (Data-Free Knowledge Distillation, DFKD)를 통한 지식 전이 시 더욱 그러합니다. 그러나 이 분야의 기존 데이터셋들은 Incidents1M처럼 설명 텍스트가 완전히 결여되어 있거나, CrisisMMD처럼 텍스트-이미지 간의 심각한 의미론적 불일치 (semantic misalignment) 문제를 겪고 있습니다. 본 연구에서는 재난 대응을 위한 대규모 멀티모달 데이터셋을 구축하고 자동으로 검증하는 새로운 방법론을 제시합니다. 시각 정보만 있는 Incidents1M에서 시작하여, 우리는 100,000개의 이미지를 성공적으로 복구하였으며 두 가지 서로 다른 Qwen3.5 아키텍처인 4B 밀집 (dense) 모델과 35B 전문가 혼합 (Mixture-of-Experts, MoE) 모델을 사용하여 고충실도 텍스트 설명을 생성했습니다. 생성된 캡션이 DFKD를 위한 신뢰할 수 있는 의미론적 앵커링 (semantic anchoring)을 제공하도록 하기 위해, 우리는 Qwen3.5-9B를 활용한 이미지-맹목적 LLM-as-a-Judge (image-blind LLM-as-a-Judge) 검증 파이프라인을 도입합니다. 심판(judge)으로부터 원본 이미지를 의도적으로 가림으로써, 이 평가기는 데이터 없는 증류 과정 중 학생 모델 (student model)이 겪는 모달리티 간극 (modality gap)을 정확하게 시뮬레이션합니다. 173,179개의 레이블 쌍에 대한 평가 결과, 두 아키텍처 간에 높은 의미론적 일치도 (78.65/100)를 보여주었습니다. 또한, 자동 평가를 통해 높은 정밀도 (Precision, 77.6%)와 낮은 재현율 (Recall, 46.0%)로 특징지어지는 보수적인 캡셔닝 동작이 드러났습니다. 이는 거짓 양성 (false positive) 노이즈를 최소화하는 동시에, 기존 정답 (ground truth)에 내재된 인간 주석의 불일치를 드러냅니다. 본 연구는 교차 모달 지식 증류를 발전시키기 위한 확장 가능한 LLM 검증 멀티모달 데이터셋과 재현 가능한 프레임워크를 제공합니다.

AI 자동 생성 콘텐츠

원문 바로가기

Theia: Data-Free Distillation을 위한 Incidents1M 데이터셋의 대규모 멀티모달 캡셔닝 및 자동 검증

요약

핵심 포인트

댓글