StoryTeller: 장편 오디오 설명(AD)을 위한 학습 불필요 서사 기반 구축

요약

본 논문은 장편 오디오 설명(AD)의 서사적 일관성과 맥락 보존 문제를 해결하기 위해 StoryTeller라는 학습 불필요 프레임워크를 제안합니다. 기존 VLM들이 국소적인 단서에 의존하는 한계를 극복하고, 검증된 '서사 메모리'를 유지하여 이야기 전체의 맥락을 풍부하게 설명할 수 있습니다.

핵심 포인트

• StoryTeller는 장편 AD의 서사적 일관성을 높이는 학습 불필요 프레임워크입니다.
• 단순한 시각 정보가 아닌, 검증된 '서사 메모리'를 유지하는 것이 핵심입니다.
• 외부 메타데이터 검색 및 의미론적 필터링을 통해 사실 기반 설명을 생성합니다.
• StoryAD-QA라는 새로운 질의응답 벤치마크를 도입하여 성능을 평가했습니다.