모든 시선이 워크플로우로: 비디오 스트림으로부터 자동화되고 효율적인 이벤트 발견

비즈니스 프로세스 관리 (Business Process Management) 및 프로세스 마이닝 (Process Mining) 과 같은 분야는 기록된 이벤트 데이터를 기반으로 프로세스에 대한 통찰력을 발견함으로써 조직을 돕습니다. 그러나 프로세스 분석의 장애물은 데이터 다중 모달리티 (data multi-modality) 입니다. 예를 들어, 비디오 형태의 데이터는 직접적으로 이벤트로 해석될 수 없습니다. 본 연구에서는 이미지 임베딩 (image embeddings) 을 사용하여 프레임을 특징 벡터 (feature vectors) 로 변환하고 프레임별 유사도 행렬 (frame-wise similarity matrices) 을 통해 시간적 분할 (temporal segmentation) 을 수행하여 비디오로부터 이벤트 데이터를 추출하는 SnapLog 라는 접근법을 제시합니다. 그 후 일반화된 퓨샷 분류 (generalized few-shot classification) 가 비디오 섹먼트에 레이블을 할당하여, 이벤트로 해석될 수 있는 레이블이 지정되고 타임스탬프가 포함된 프레임 서브시퀀스를 생성합니다. 생성된 데이터는 기존 프로세스 마이닝 기법으로 분석할 수 있습니다. 우리는 우리의 접근법이 비디오 내의 프로세스를 정확하게 반영하는 로그를 생성한다는 것을 보여줍니다.