StoryTeller: 장편 오디오 설명(AD)을 위한 학습 불필요 서사 기반 구축
요약
본 논문은 장편 오디오 설명(AD)의 서사적 일관성과 맥락 보존 문제를 해결하기 위해 StoryTeller라는 학습 불필요 프레임워크를 제안합니다. 기존 VLM들이 국소적인 단서에 의존하는 한계를 극복하고, 검증된 '서사 메모리'를 유지하여 이야기 전체의 맥락을 풍부하게 설명할 수 있습니다.
핵심 포인트
- StoryTeller는 장편 AD의 서사적 일관성을 높이는 학습 불필요 프레임워크입니다.
- 단순한 시각 정보가 아닌, 검증된 '서사 메모리'를 유지하는 것이 핵심입니다.
- 외부 메타데이터 검색 및 의미론적 필터링을 통해 사실 기반 설명을 생성합니다.
- StoryAD-QA라는 새로운 질의응답 벤치마크를 도입하여 성능을 평가했습니다.
장편 오디오 설명(AD)은 보이는 행동을 묘사하는 것 이상을 요구합니다. 청각 장애인 및 저시력자(BLV) 관객이 영화를 따라갈 수 있도록 장면 전반에 걸쳐 등장인물, 사건, 관계, 그리고 이야기의 맥락을 보존해야 합니다. 현대 비디오-언어 모델(VLMs)은 짧은 클립에서는 효과적이지만, 종종 각 순간을 독립적으로 다루는 경향이 있어, 캐릭터가 누구인지, 사건이 왜 중요한지, 현재 장면이 이전 서사 맥락과 어떻게 연결되는지를 놓치는 설명을 생성합니다. 우리는 스토리 인식 장편 AD를 위한 학습 불필요(training-free) 프레임워크인 StoryTeller를 제안합니다. StoryTeller는 단순히 국소적인 시각적 단서에 의존하는 대신, 장면 전반에 걸쳐 이야기 관련 정보를 전달하는 검증된 서사 메모리를 유지하여, 이후의 설명이 일관성 있고, 근거가 확실하며, 맥락적으로 정보가 풍부하도록 합니다. 원본 비디오와 영화 제목만 주어지면, StoryTeller는 이름과 이야기 맥락을 해결하기 위해 선택적으로 공개 영화 메타데이터를 검색할 수 있으며, 의미론적 필터링 및 VLM 검증을 통해 비디오로 뒷받침되는 사실만을 받아들입니다. 이 방법은 자막, 대본, AD 전사본, 정렬된 캡션, 캐릭터 은행, 사전 계산된 얼굴 식별자 또는 작업별 미세 조정(fine-tuning)을 요구하지 않습니다. 생성된 AD가 서사 정보를 보존하는지 평가하기 위해, 우리는 언어 모델이 오직 생성된 설명을 사용하여 이야기 맥락 질문에 답할 수 있는지 테스트하는 질의응답 벤치마크인 StoryAD-QA를 도입했습니다. 표준 AD 벤치마크와 다양한 장편 비디오에 대한 실험 결과는 StoryTeller가 자동 평가, QA 기반 평가, 그리고 인간 평가 모두에서 강력한 기준선 대비 서사적 일관성, 사실적 근거 구축, 이야기 이해도를 지속적으로 향상시킨다는 것을 보여줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기