Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 축구 방송에서 특정 훈련 없이 이벤트를 탐지, 분류하는 제로샷 멀티모달 프레임워크를 제시합니다. 시각적 스토리보드와 해설 스크립트가 결합된 중첩 클립을 사용하여 일반 목적 모델이 처리하며, 기존 방식 대비 높은 성능과 추론 비용 72% 감소 효과를 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기자동화된 축구 이벤트 탐지(event spotting)는 하이라이트 생성, 비디오 인덱싱, 스포츠 분석을 지원하지만, 기존 방법들은 대규모 주석 데이터셋과 축구에 특화된 훈련에 의존합니다. 본 논문에서는 특정 작업별 매개변수 훈련 없이도 풀 길이의 축구 방송에서 이벤트를 탐지, 분류 및 시간적으로 국소화하는 제로샷(zero-shot) 프레임워크를 제시합니다. 각 경기는 간결한 시각적 스토리보드와 정렬된 해설 스크립트로 표현되는 중첩 클립들로 분할되며, 일반 목적의 멀티모달 모델이 이를 공동으로 처리합니다. 수동으로 주석 처리된 130개 이벤트가 포함된 세 경기에 대해, 최적 구성은 72.0%의 F1@5s를 달성하며, 크로스 데이터셋 환경에서 SoccerNet-훈련 CALF 및 NetVLAD++보다 우수한 성능을 보였습니다. 또한, 스토리보드 표현 방식은 개별 프레임과 비교하여 추론 비용을 72% 감소시킵니다. 나아가 모델 계열(model family), 입력 표현(input representation), 그리고 프롬프트 최적화의 영향을 분석하고, 하이라이트 선택을 위해 탐지된 이벤트에 자연어 설명과 함께 순위를 매기는 증거 기반 흥미도 점수 산정 단계(evidence-grounded excitement-scoring stage)를 도입했습니다.