GazeBehavior Annotation Toolkit (GBAT): 아동-양육자 상호작용의 1인칭 시점 시선 추적 및 비디오 데이터 자동

아동-양육자 상호작용의 비디오 녹화는 자연스러운 행동 중 발생하는 주의력 역학 (attentional dynamics)에 대한 조사를 가능하게 합니다. 이러한 멀티모달 (multimodal) 녹화는 연구자들이 주의력이 행동 및 언어 사용과 실시간으로 어떻게 상호작용하는지 조사할 수 있게 해줍니다. 그러나 이러한 데이터의 수동 주석 (manual annotation) 작업은 시간이 많이 소요됩니다. 본 논문에서는 데이터 전처리 및 특징 추출 (feature extraction)의 세 가지 핵심 프로세스를 용이하게 하도록 설계된 딥러닝 (deep-learning) 기반 툴킷인 GazeBehavior Annotation Toolkit을 소개합니다. 이 툴킷은 여러 비디오 간의 사후 동기화 (post-hoc synchronization), 시선 대상 범주 (gaze target categories)의 반자동 주석 (semi-automatic annotation), 그리고 참가자의 포즈 및 손 동작의 범주화 (categorization)를 지원합니다. 이 툴킷은 인간의 1인칭 시점 (egocentric) 시선 추적 및 비디오 데이터로부터의 특징 추출 효율성과 확장성을 향상시킵니다. 이러한 개선은 인간의 초기 발달 과정에서 나타나는 주의력 역학 및 자연스러운 행동에 대한 대규모 및 종단적 (longitudinal) 조사를 지원하는 데 매우 중요합니다.