초음파 AI 연구를 위한 임상의 중심 어노테이션 및 평가 파이프라인

임상의 중심의 평가는 의료 AI 시스템을 검증하는 데 매우 중요하며, 특히 정량적 지표가 임상적 사용성을 항상 포착하지 못하는 초음파 영상 분야에서 더욱 그러합니다. 기존의 의료 영상 플랫폼들은 주로 데이터셋 라벨링 (dataset labeling)에 집중되어 있습니다. 이들은 눈가림 모델 비교 (blinded model comparison) 및 재현 가능한 평가 워크플로 (reproducible evaluation workflows)에 대한 통합된 지원이 부족합니다. 본 연구에서는 초음파 AI 연구를 위한 원격 어노테이션 (annotation) 및 평가를 위한 임상의 중심 파이프라인을 제시합니다. 제안된 파이프라인은 중앙 집중식 서버와 경량 브라우저 인터페이스를 사용하여 임상의가 로컬 데이터셋 다운로드 없이 어노테이션, 눈가림 순위 매기기 (blinded ranking) 및 검토를 수행할 수 있도록 합니다. 또한 이 파이프라인은 다수 평가자 참여, 중앙 집중식 결과 집계 및 자동화된 통계 분석을 지원합니다. 우리는 전문가, 일반의, 비전문가 경험 수준을 아우르는 6명의 평가자를 대상으로 태아 초음파 세그멘테이션 (segmentation) 연구를 통해 파이프라인을 검증했습니다. 시스템은 Spearman 상관계수 (Spearman correlation), Kendall's $τ$, 그리고 top-1 선택 통계를 자동으로 생성했습니다. 결과는 전문가와 다른 그룹 간에 중간에서 강한 수준의 일치도를 보였습니다. 눈가림 평가 결과는 후기 능동 학습 (active learning) 모델이 선호되는 경향을 나타냈습니다. 이러한 결과는 이 파이프라인이 초음파 영상 분야에서 임상의 중심의 어노테이션 및 재현 가능한 인간-\ac{AI} 평가 연구를 지원할 수 있음을 시사합니다. 제안된 파이프라인은 \href{https://github.com/13204942/SonoRate}{GitHub}에서 확인할 수 있습니다.