Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
MedFailBench는 기존 의료 AI 벤치마크가 정답 여부만 측정하는 한계를 극복하기 위해 임상의가 구축한 오픈 소스 안전성 검사 도구입니다. 이 벤치마크는 오류를 심각도와 구체적인 '안전 게이트' 유형별로 라벨링하여 의료 AI의 취약점을 깊이 있게 분석할 수 있도록 합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기대부분의 의료 AI 벤치마크는 모델이 정답을 알고 있는지 여부를 측정합니다. MedFailBench는 다른 질문을 던집니다. 어떤 안전 경계가 실패했는지? 우리는 임상의가 구축한 합성(synthetic) 벤치마크와 실패 아틀라스(failure atlas)를 제시하며, 이는 의료 AI 오류를 심각도(severity, 1~5)와 안전 게이트 유형(missed urgent escalation, unsafe remote dosing, unsafe discharge reassurance, evidence fabrication, unsafe protocol execution, source support gap)별로 라벨링합니다. 현재 공개된 버전(v0.2.1)에는 심각도 주석이 달린 임상의 검토 합성 사례 44개, 라이브 HuggingFace 리더보드 미리보기, 안전 게이트 분류 체계(safety gate taxonomy), 임상 심각도 루브릭(clinical severity rubric), 그리고 모델-응답 스크리닝 실행 아카이빙을 위한 자동화된 파이프라인이 포함되어 있습니다. 환자 데이터, 임상 검증 주장 또는 모델 순위는 포함되지 않습니다. MedFailBench는 Apache-2.0 및 CC-BY-4.0 하에 공개되었으며 Zenodo DOI 10.5281/zenodo.21205535를 가집니다.