AI Consilium: LLM 임상 다학제적 제2의 의견을 위한 벤치마크

원문 발행 2026. 10. 16. 02:46원문 언어 영어AI 한국어 번역arXiv cs.CL (NLP) 원문 보기

요약

본 연구는 LLM이 복잡한 임상 사례에 대해 사실적 근거와 일관성을 갖춘 다학제적 '제2의 의견(Consilium)'을 생성할 수 있는지 평가하는 다차원 벤치마크를 개발했습니다. 이 벤치마크는 구조화된 종합 보고서가 개별 주역할 의견보다 전반적으로 우수하며, 특히 문제 우선순위 지정과 추론 일관성에서 큰 개선을 보임을 입증했습니다.

핵심 포인트

다차원 벤치마크를 통해 LLM의 임상 추론 능력을 평가함.
구조화된 종합 보고서가 개별 의견보다 높은 통합 점수를 기록함.
관리(management) 분야에서 구조적 종합이 가장 큰 이점을 보임.
GPT-5.6-Sol 모델이 전반적인 성능에서 선두를 차지함.

대규모 언어 모델(LLMs)은 복잡한 사례에 대한 감별 진단을 생성할 수 있지만, 유용한 제2의 의견은 또한 사실적으로 근거가 있어야 하고 (factually grounded), 임상적으로 일관성이 있으며 (clinically coherent), 실행 가능하고 (actionable), 안전해야 합니다. 우리는 300개의 진단이 해결된 NEJM--MedQA 사례를 사용하여 다차원적 벤치마크를 개발했습니다. 이 중 110개는 의사 참고 평점 및 Judge 보정(Judge calibration)에 사용되었고, 190개는 별도 평가(held-out evaluation)에 사용되었습니다. 여덟 개의 단일 모델 파이프라인은 자유 형식 및 구조화된 임상 추론 조건 하에서 독립적인 역할별 의견과 상호작용적 Consilium 보고서를 생성했습니다. 의사 보정 LLM Judge가 3,040개의 최종 보고서와 해당 구조화된 주역할(primary-role) 출력을 평가했습니다. 모델 정체성(Model identity)이 응답 형식보다 보고서 품질을 더 강하게 구분했습니다. 구조화된 최종 보고서는 여덟 개의 모델 파이프라인 중 일곱 개에서 더 높은 전체 평균 점수를 기록했으며, 특히 관리(management) 분야에서 가장 큰 이점(2.740 대 2.436)을 보였습니다. 구조화된 사전 Consilium 주역할 의견과 비교했을 때, 완전한 구조적 종합(complete structured synthesis)은 다섯 가지 공유 기준 모두에서 더 높은 통합 점수를 기록했으며, 문제 우선순위 지정(problem prioritization), 사실적 근거 (factual grounding), 추론 일관성(reasoning coherence)에서 가장 큰 증가를 보였습니다. GPT-5.6-Sol이 평가된 모든 구성 요소에서 선두를 달렸으며 가장 적은 검토 라운드 만에 합의에 도달했습니다. 이러한 발견들은 이 벤치마크가 단일 공통 사례 평가 내에서 모델 역량, 다학제적 종합의 기여도, 응답 구조의 기준별 효과, 숙고 역동성(deliberation dynamics), 그리고 추론 요구사항을 구별할 수 있음을 보여줍니다.

AI 자동 생성 콘텐츠

원문 바로가기

AI Consilium: LLM 임상 다학제적 제2의 의견을 위한 벤치마크

요약

핵심 포인트

댓글