Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
비디오 LLM의 블랙박스 문제를 해결하기 위해 시공간적 증거를 함께 출력하는 E-VQA 과제를 제안합니다. 인간 검증 벤치마크인 ST-Evidence와 160k 규모의 데이터셋을 통해 설명 가능한 비디오 이해 성능을 크게 향상시켰습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기현재의 비디오 대규모 언어 모델(Video LLMs)은 질의응답(QA)에서 뛰어난 성능을 보이지만, 검증 가능한 시각적 근거 없이 텍스트 답변만 제공하는 블랙박스 형태로 작동하는 경우가 많습니다. 기존의 설명 가능성 노력들은 텍스트 추론이나 희소한 바운딩 박스에 의존하는데, 이는 가려짐(occlusions)이나 비강체 변형(non-rigid deformations)과 같은 복잡한 비디오 역학을 포착하는 데 어려움을 겪습니다. 본 논문에서는 모델이 의미론적 답변과 정밀한 시공간적 증거, 즉 시간적 세그먼트와 밀집 추적 객체 분할 마스켓(dense, tracked object segmentation masklets)을 공동으로 출력하도록 요구하는 새로운 과제인 증거 기반 비디오 질의응답(Evidence-Backed Video Question Answering, E-VQA)을 제안합니다. 이를 지원하기 위해, 본 논문은 판별적 및 생성적 픽셀 수준 근거를 모두 위한 최초의 인간 검증 벤치마크인 ST-Evidence를 소개합니다. 최신 모델들의 평가 결과는 QA 정확도와 진정한 시각적 인지 사이의 중요한 분리가 있으며, 단순히 규모 확장만으로는 이를 해소할 수 없음을 보여줍니다. 이에 대응하여, 우리는 고수준 추론과 미세한 근거를 연결하는 160k 규모의 데이터셋인 ST-Evidence-Instruct를 생성하기 위한 확장 가능하고 자동화된 생성 파이프라인을 개발합니다. 이 데이터로 근거 기반 비디오 LLMs를 미세 조정(fine-tuning)하면, 해당 크기에 맞춘 UniPixel 기준선 대비 상당한 성능 향상(예: 7B 모델에서 t-mean +27.2 및 J&F +13.8)을 얻어내며, 설명 가능하고 증거 기반의 비디오 이해를 위한 강력한 기준선을 확립합니다. 코드와 데이터는 https://github.com/SalesforceAIResearch/EVQA에서 이용할 수 있습니다.