SIMAX: 다중 충실도 및 주석이 달린 임상의-환자 대화 시뮬레이션을 위한 확장 가능하고 해석 가능한 프레임워크

배경 (Background). 주변 환경 디지털 기록기 (ambient digital scribes)의 광범위한 배포로 인해 임상의-환자 대화의 대규모 캡처가 가속화되고 있습니다. 임상 커뮤니케이션 데이터에 대한 인간의 코딩 (Human coding)은 여전히 비용이 많이 들고, 일관성이 없으며, 규모를 확장하기 어렵기 때문에 AI 기반 커뮤니케이션 코딩 시스템의 필요성이 대두되고 있습니다. 그러나 이러한 시스템을 평가하려면 실제 대화와 인간이 코딩한 라벨 (human-coded labels)이 필요한데, 이 두 가지 모두 대규모로 확보하기 어렵습니다. 방법 (Methods). 우리는 참조 행동 주석 (reference behavioral annotations)을 포함하여 통제된 임상 대화 데이터를 생성하기 위한 프레임워크인 SIMAX (Scalable and Interpretable Framework for Multi-Fidelity and Annotated Clinician-Patient Dialogue Simulation)를 개발했습니다. SIMAX는 사전 정의된 임상 시나리오, 페르소나 (personas), 음성 조건 (voice conditions) 및 목표 커뮤니케이션 행동 (target communication behaviors)으로부터 임상의-환자 대화를 생성합니다. 행동은 두 가지 코드북 (codebooks)을 사용하여 제어됩니다: 전반적인 커뮤니케이션 품질을 위한 글로벌 코드북 (Global Codebook)과 특정 가산 행동 (countable behaviors)을 위한 WISER 코드북 (WISER Codebook)입니다. 우리는 자동화된 품질 평가, 인간 평가 및 커뮤니케이션 코딩 시스템의 예시를 사용하여 SIMAX를 평가했습니다. 결과 (Results). SIMAX는 세 가지 전문 분야, 여러 진료 단계, 페르소나 특성 및 악센트 조건을 가로질러 3,388개의 시뮬레이션된 대화를 생성했습니다. 자동 평가 결과, 평균 UTMOS 및 WV-MOS 점수는 각각 3.03과 2.61, WER 및 CER은 0.07과 0.05, 그리고 CLAP 코사인 유사도 (CLAP cosine similarity)는 0.41로 나타나, 합리적인 음성 자연스러움, 높은 전사 충실도 (transcription fidelity), 그리고 긍정적인 텍스트-오디오 대응 관계를 시사했습니다. 인간 평가에서는 중앙값 MOS 4.67과 임상적 현실성 (clinical realism) 점수 중앙값 3.00을 기록했습니다. 다운스트림 평가 (Downstream evaluation)에 따르면, SIMAX는 커뮤니케이션 코딩 시스템이 행동 목표에 어떻게 반응하는지 평가할 수 있으며, 일부 차원에서 불충분한 민감도를 드러낼 수 있음을 보여줍니다. 결론 (Conclusions). SIMAX는 통제 가능하고 재현 가능한 시뮬레이션된 임상의-환자 대화를 생성하여, 커뮤니케이션 코딩 시스템을 개발, 검증 및 개선하기 위한 데이터 기반을 제공합니다.