Cutscene Agent: 자동화된 3D 컷신 생성을 위한 LLM 에이전트 프레임워크

컷신 (cutscenes) 은 비디오 게임과 인터랙티브 미디어에 내장된 신중하게 안무된 영화적 시퀀스로, 서사 전달, 캐릭터 개발, 그리고 감정적 몰입의 주요 매개체 역할을 합니다. 컷신을 제작하는 것은 본질적으로 복잡합니다: 대본 작성, 촬영 감독 (cinematography), 캐릭터 애니메이션, 보이스 액팅, 그리고 기술 감독 (technical direction) 간의 원활한 조정이 필요하며, 다학제 팀이 수일에서 수주의 협력 노력이 요구되어 분 단위의 정교한 콘텐츠를 만들어냅니다. 이 연구에서는 자동화된 엔드투엔드 컷신 생성을 위한 LLM 에이전트 프레임워크인 Cutscene Agent 를 제시합니다. 이 프레임워크는 세 가지 기여를 제공합니다: (1) Model Context Protocol (MCP) 기반의 Cutscene Toolkit 으로, LLM 에이전트와 게임 엔진 간의 extit{양방향} 통합을 확립합니다. 에이전트는 단순히 엔진 작업을 호출하는 것을 넘어 실시간 씬 상태를 지속적으로 관찰하여 편집 가능한 엔진 네이티브 영화적 자산의 폐쇄 루프 생성 (closed-loop generation) 을 가능하게 합니다; (2) 애니메이션, 촬영 감독, 사운드 디자인 전문 서브에이전트를 지휘자 에이전트 (director agent) 가 조율하는 다에이전트 시스템으로, 지각 기반 정제 (perception-driven refinement) 를 위한 시각적 추론 피드백 루프로 보완됩니다; 그리고 (3) 컷신 생성을 위한 계층형 평가 벤치마크인 CutsceneBench 입니다. 일반적인 도구 사용 벤치마크가 짧은 고립된 함수 호출을 평가하는 것과 달리, 컷신 생성은 엄격한 순서 제약 조건 하에서 수십 개의 상호 의존적인 도구 호출의 장기적 (long-horizon) 다단계 조율 (orchestration) 을 필요로 합니다. 이는 기존 벤치마크가 다루지 않는 능력 차원입니다. 우리는 CutsceneBench 에서 다양한 LLM 의 성능을 평가하고 이 도전적인 작업에 따른 그들의 성능을 분석합니다.