멀티모달 사용자 인터페이스 툴킷을 위한 벤치마킹 프레임워크: 모달리티 커버리지, 개발자 워크플로우 및 실험 지원 비교

멀티모달 (Multimodal) 사용자 인터페이스는 음성, 제스처, 시각, 시선, 터치, 생체 신호 및 기타 센서 데이터를 점점 더 많이 결합하고 있습니다. Geno, Multisensor-Pipeline (MSP), ReactGenie, EmoSync와 같은 지난 5년간의 최신 툴킷들은 개발자들이 이러한 인터페이스를 더 쉽게 프로토타이핑할 수 있도록 하는 것을 목표로 하는 반면, WAMI와 같은 이전 연구들은 초기 웹 기반 멀티모달 시스템이 어떻게 구상되었는지를 보여줍니다. 하지만 이 분야에는 이러한 툴킷들이 실제로 무엇을 지원하는지, 개발자로부터 구현 작업을 얼마나 덜어주는지, 그리고 어떤 평가 전략이 적절한지를 비교할 수 있는 체계적이고 재사용 가능한 방법이 여전히 부족합니다. 본 논문은 HCI 세미나 초안을 멀티모달 사용자 인터페이스 툴킷을 위한 벤치마킹 프레임워크 논문으로 재구성합니다. 완료된 실증적 결과를 보고하는 대신, 문서 분석, 기술적 비교, 그리고 향후 개발자 기반 평가를 바탕으로 한 구조화된 벤치마크를 제안합니다. 이 프레임워크는 세 가지 차원을 중심으로 구성됩니다: 모달리티 커버리지 (Modality coverage) 및 상호작용 추상화, 개발자 경험 및 워크플로우, 그리고 실험 및 통합 지원입니다. 본 논문은 다섯 가지 대표적인 툴킷인 Geno, MSP, ReactGenie, WAMI, EmoSync를 통해 프레임워크를 설명합니다. 본 연구의 기여는 향후 연구자들이 실증적 측정, 개발자 연구 및 추가적인 멀티모달 툴킷을 통해 구현할 수 있는 재사용 가능한 벤치마크 템플릿을 제공하는 것입니다.