SpeechDx: 임상 음성 AI를 위한 멀티태스크 벤치마크

음성은 신경계, 운동계, 호흡계 및 발성계를 동시에 관여함으로써 건강 상태를 들여다볼 수 있는 독특하고 유익한 창을 제공합니다. 현재의 임상 음성 AI 방법론은 주로 특정 질환에 국한된 개별 연구를 통해 발전해 왔으며, 이로 인해 결과 간의 비교가 어렵고 일반화 능력을 평가하기가 까다롭습니다. 우리는 다양한 건강 상태에 걸쳐 12개의 데이터셋과 27개의 태스크를 아우르는 임상 음성 AI를 위한 대규모 벤치마크인 SpeechDx를 소개합니다. 공유된 임상 메커니즘을 통한 평가를 가능하게 하기 위해, SpeechDx는 음성 생성 과정에서 장애가 발생하는 단계인 개념화 (conceptualization), 공식화 (formulation), 조음 (articulation)에 따라 태스크를 구조화합니다. 이 벤치마크는 라벨링된 데이터가 제한적인 태스크를 포함하고, 동일한 건강 상태를 여러 데이터셋에 걸쳐 평가함으로써 일반화 능력을 테스트하며, 데이터셋의 인위적인 결과물 (artefacts)과 임상적으로 의미 있는 패턴을 구분합니다. 우리는 모든 태스크와 제로샷 교차 조건 전이 (zero-shot cross-condition transfer) 환경에서 12개의 최첨단 오디오 인코더 (audio encoders)를 체계적으로 평가했습니다. 결과에 따르면, 대규모 음성 모델이 전반적으로 가장 강력한 베이스라인을 형성하는 반면, 도메인 특화 모델은 밀접하게 일치하는 태스크에서만 성능을 향상시켰으며, 현재의 어떤 표현 (representation) 모델도 임상 음성 영역 전반에 걸쳐 신뢰할 수 있는 일반화 성능을 보여주지 못했습니다. SpeechDx는 범용 임상 음성 표현 (general-purpose clinical speech representations)을 향한 진전을 추적하기 위한 공유 평가 프레임워크를 구축합니다.