롱폼 비디오 생성 (Long-form video generation)은 짧은 단일 장면 합성을 넘어 서사 구조, 영화적 제어 (cinematic control), 오디오, 그리고 교차 모달 동기화 (cross-modal synchronization)를 갖춘 분 단위의 멀티 샷 제작으로 빠르게 진화하고 있습니다. 그러나 기존의 벤치마크 (benchmarks)는 주로 국소적인 시각적 품질, 단기적 시간적 일관성 (temporal consistency), 또는 일반적인 프롬프트 정렬 (prompt alignment)에 집중되어 있으며, 워크플로우 실패 및 사용자 의존적 선호도에 대한 진단 기능이 제한적이어서 이러한 비디오를 평가하는 데 여전히 어려움이 있습니다. 우리는 롱폼 비디오 생성을 위한 개인화된 멀티 에이전트 진단 벤치마크인 DirectorBench를 소개합니다. DirectorBench는 80개의 구조화된 메타데이터 항목, 7개의 사용자 프로필 (user profiles), 그리고 대본 (script), 시각 (visual), 오디오 (audio), 교차 모달 (cross-modal), 안정성 (stability)의 5개 차원에 걸친 40개의 체크포인트 기준을 바탕으로 생성된 비디오를 평가합니다. 품질을 단일 통합 점수로 축소하는 대신, DirectorBench는 체크포인트 수준의 병목 현상을 국지화하고 프로필 인지 평가 (profile-aware evaluation)를 지원합니다. 우리는 4개의 롱폼 비디오 생성 워크플로우, 6개의 베이스 LLM (base LLMs), 그리고 7개의 사용자 프로필을 평가했습니다. 워크플로우 전반에 걸쳐 DirectorBench는 유닛 간 병목 현상 (between-unit bottleneck)을 드러냈습니다. 전환 품질 (transition quality)은 평균 0.256에 불과하며 가장 우수한 워크플로우에서도 0.356에 그친 반면, 프롬프트 수준의 사용자 요구 충족도는 평균 0.71을 기록했습니다. 우리는 DirectorBench와 인간의 판단 사이의 일치성을 검증하기 위해 14명의 어노테이터 (annotators)를 대상으로 인간 평가를 추가로 실시했습니다. 결과에 따르면 DirectorBench는 인간이 인지할 수 있는 품질 차이를 포착하며, 통합 점수 방식에서는 숨겨져 있던 워크플로우 및 프로필 의존적 실패 모드 (failure modes)를 드러냅니다. 이러한 발견은 롱폼 비디오 생성을 위한 진단적이고 프로필 인지적인 벤치마킹의 중요성을 강조합니다.