Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
의료용 LLM의 환자 분류(Triage) 능력을 평가하기 위한 새로운 벤치마크인 CARE-Bench를 소개합니다. 500개의 사례를 통해 11개 모델을 평가한 결과, 프롬프팅이 성능을 향상시키기는 하지만 여전히 행동 타이밍과 관련된 임계값 오류가 지속됨을 확인했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기환자 대상 의료 LLM(Large Language Models) 및 에이전트들은 임상의와의 접촉 전에 증상 관련 질문에 답변하는 경우가 점점 늘어나고 있으며, 여기서 핵심적인 안전 문제는 사용자가 다음에 어떤 조치를 취해야 하는가입니다. 우리는 순차적인 환자 대상 트리아지(Triage, 환자 분류)를 턴당 4개의 레이블을 가진 현재 행동(current-action) 작업으로 평가하는 소스 기반 벤치마크인 CARE-Bench를 소개합니다. CARE-Bench는 의료 대화, 상담 및 후속 질문 소스로부터 재구성된 500개의 사례와 1,059개의 평가된 환자 공개 접두사(patient-disclosure prefixes)를 포함하고 있습니다. 우리는 고정된 GPT-5.5 매퍼(mapper)를 사용하여 각 응답을 4개의 레이블 행동 공간으로 코딩함으로써, 무프롬프트(unprompted) 및 최소 프롬프트(minimally prompted) 개방형 프로토콜 하에서 269개의 홀드아웃(held-out) 라운드에 대해 11개 모델을 평가했습니다. 무프롬프트 상태의 macro-F1은 31.2에서 50.4 사이로 낮게 유지되었습니다. 프롬프팅은 11개 모델 중 10개의 성능을 향상시켰으며, 프롬프트 적용 시 macro-F1은 46.9에서 63.4 사이로 나타났으나 상당한 임계값 오류(threshold errors)가 여전히 남아있습니다. 프롬프트를 적용한 모델들은 필요한 명확한 정보가 확보되기 전에 진료를 권장하는 경우가 많았습니다. 올바른 행동이 더 많은 정보를 요청하는 것이었을 때, 프롬프트가 적용된 출력 중 해당 단계를 유지한 비율은 33.5%에 불과했습니다. 프롬프팅 이후에도 이러한 오류가 지속된다는 것은 환자 대상 트리아지가 단순한 프롬프팅 문제(prompting problem)가 아님을 시사하며, 배포 전 행동 타이밍(action timing)에 대한 명시적인 평가가 필요함을 뒷받침합니다.