GroupAffect-4: 4인 협력 상호작용을 위한 멀티모달 데이터셋

기존의 감성 컴퓨팅 (affective-computing), 사회적 신호 처리 (social-signal-processing), 그리고 회의 코퍼스 (meeting corpora)들은 인간 상호작용의 중요한 부분들을 포착하고 있지만, 결합된 개인적, 대인적, 그리고 집단 수준의 프로세스로서 동일 공간 내 그룹의 감정 (affect) 분석을 지원하는 경우는 드뭅니다. 필요한 신호들 (참가자별 생체 신호 (physiology), 안구 운동 (eye movement), 오디오 (audio), 자기 보고 (self-report), 과업 결과 (task outcomes), 그리고 성격 (personality))은 대개 별개의 데이터셋 전통에 따라 파편화되어 있습니다. 우리는 10개의 4인 그룹, 총 40명의 참가자가 정보 취합 (information pooling), 협상 (negotiation), 아이디어 생성 (idea generation), 그리고 공공재 게임 (public-goods game)에 걸쳐 생태학적으로 다양한 4가지 협력 과업을 완료하는 멀티모달 코퍼스인 GroupAffect-4를 소개합니다. 각 참가자는 손목 착용형 생체 신호 센서 (physiology sensor), 안구 추적 안경 (eye-tracking glasses), 그리고 근접 마이크 (close-talk microphone)를 장착하였으며, 세션에는 연속적인 감정 자기 보고 (affect self-reports), 과업 후 설문지 (post-task questionnaires), 과업 결과 (task outcomes), 그리고 Big-Five 성격 점수 (Big-Five personality scores)가 포함되며, 이 모든 데이터는 공유된 시계 (shared clock)에 맞춰 시간 정렬 (time-aligned)되었습니다. 이 데이터셋은 예상되는 생체 신호 윈도우 (physiology windows)의 91% 이상과 안구 추적 윈도우 (eye-tracking windows)의 98%를 커버하며, 협상 블록 (negotiation block) 전반에 걸친 명확한 감정 조작 확인 (affective manipulation check)을 통해 강력한 과업 타당성 (task validity)을 확인했습니다. 우리는 개인 내 상태 (within-person state), 개인 간 특성 (between-person traits), 그리고 집단 역학 (group dynamics)이라는 세 가지 분석 수준을 아우르는 15개의 벤치마킹 가능한 목표 (benchmarkable targets)를 정의하고, 데이터셋의 평가 범위를 설정하는 leave-one-group-out 방식의 실행 가능성 베이스라인 (feasibility baselines)을 보고합니다. GroupAffect-4는 BIDS에서 영감을 받은 구조, Croissant 메타데이터, 데이터시트 (datasheet), 세션별 품질 보고서 (per-session quality reports), 그리고 공개 처리 스크립트 (open processing scripts)와 함께 공개됩니다. 코드와 처리 스크립트는 https://github.com/meisamjam/GroupAffect-4 에서 확인할 수 있으며, 데이터셋은 https://zenodo.org/records/20037847 에 공개적으로 아카이브되어 있습니다.