Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
ClinEnv는 LLM이 실제 입원 사례와 유사한 환경에서 주치의 역할을 수행하며 의사결정을 내리는 과정을 평가하는 대화형 벤치마크입니다. 기존 정적 벤치마크와 달리 정보 수집 과정과 결정의 품질을 동시에 측정하여 모델의 임상 추론 능력을 정밀하게 분석합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기임상 실무(Clinical practice)는 나열된 선택지 중 하나의 답을 고르는 과정이 아닙니다. 의사는 이질적인 정보들을 점진적으로 수집하며, 불확실성 속에서 순차적이고 되돌릴 수 없는 결정을 내립니다. 정적인 벤치마크(Static benchmarks)는 이를 조사할 수 없으며, 기존의 대화형 의료 벤치마크들은 각각 최소 한 가지 이상의 측면에서 타협하고 있습니다. 우리는 우리가 '종단적 입원 시뮬레이션 (Longitudinal Inpatient Simulation)'이라 명명한 패러다임 하에서, 실제 입원 사례를 바탕으로 주치의로서의 LLM (Large Language Models)을 평가하는 대화형 벤치마크인 ClinEnv를 제시합니다. 각 사례는 결정 단계(decision stages)의 순차적인 시퀀스로 자동 구성됩니다. 모델은 매 단계마다 약물, 시술 및 진단을 결정하기 전에 네 명의 전문 에이전트(specialized agents)에게 능동적으로 질의해야 합니다. ClinEnv는 결정론적 온톨로지 기반 매칭(deterministic ontology-grounded matching)을 통해 모델이 무엇을 결정하는지뿐만 아니라, 정보를 어떻게 수집하는지도 점수화합니다. 7개의 모델을 대상으로 테스트한 결과, 가장 성능이 좋은 모델조차 결정 F1 점수가 0.31에 불과했으며, 결과의 품질(outcome quality)은 과정의 품질(process quality)과 급격히 분리되어 나타났습니다. 난이도는 관리 결정(management decisions)과 후기 단계에 집중되어 있으며, 모델은 관리 조치(management actions)보다 퇴원 진단(discharge diagnoses)을 훨씬 더 안정적으로 복구하지만 (0.51 대 0.17 F1), 사례가 진행됨에 따라 중복된 질의를 계속해서 발행하는 모습을 보였습니다. ClinEnv는 결과 중심의 평가에서는 보이지 않았던 이러한 정보 습득의 격차를 직접 측정 가능하게 만듭니다.