EntityBench: 엔티티 일관성을 갖춘 장거리 멀티샷 비디오 생성을 향하여

멀티샷 비디오 생성 (Multi-shot video generation)은 단일샷 생성을 일관된 시각적 서사로 확장하지만, 긴 시퀀스 전반에 걸쳐 캐릭터, 객체 및 장소의 일관성을 유지하는 것은 여전히 과제로 남아 있습니다. 기존의 평가 방식은 일반적으로 엔티티 커버리지가 제한적이고 단순한 일관성 지표를 가진 독립적으로 생성된 프롬프트 세트를 사용하므로, 표준화된 비교가 어렵습니다. 우리는 실제 서사 미디어에서 유도된 140개의 에피소드(2,491개 샷)로 구성된 벤치마크인 EntityBench를 소개합니다. 이는 쉬움 / 중간 / 어려움 단계에 따라 최대 50개의 샷, 13개의 샷 간 캐릭터, 8개의 샷 간 장소, 22개의 샷 간 객체를 동시에 추적하며, 최대 48개 샷에 달하는 재출현 간격 (recurrence gaps)을 포함하는 명시적인 샷별 엔티티 스케줄을 제공합니다. 이와 함께 샷 내부 품질 (intra-shot quality), 프롬프트 준수 정렬 (prompt-following alignment), 그리고 샷 간 일관성 (cross-shot consistency)을 분리하여 평가하는 세 가지 기둥의 평가 스위트를 결합하였으며, 정확한 엔티티 출현만을 샷 간 점수에 반영하는 충실도 게이트 (fidelity gate)를 포함합니다. 베이스라인으로서, 우리는 생성이 시작되기 전 검증된 엔티티별 시각적 참조를 영구적인 메모리 뱅크 (memory bank)에 저장하는 메모리 증강 생성 시스템인 EntityMem을 제안합니다. 실험 결과, 기존 방식에서는 재출현 거리 (recurrence distance)가 멀어짐에 따라 샷 간 엔티티 일관성이 급격히 저하되는 반면, 명시적인 엔티티별 메모리는 평가된 방식들 중 가장 높은 캐릭터 충실도 (Cohen's d = +2.33)와 존재감을 보여주었습니다. 코드와 데이터는 https://github.com/Catherine-R-He/EntityBench/ 에서 확인할 수 있습니다.