Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
스페인 MIR 전공의 시험을 통해 개방형 LLM 네 가지를 테스트한 연구입니다. 모델들은 상위권에 들었으나 여전히 합격까지는 거리가 있었습니다. 의료 미세 조정은 과신만 줄였고, 임상적 추론이나 맥락 이미지 사용 측면에서 명확한 한계가 발견되었습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기의료 시험에서의 정확도는 언어 모델의 임상적 활용을 뒷받침하는 일반적인 증거이지만, 자체 하드웨어에서 개방형 모델을 운영하려는 의료 시스템은 훨씬 더 많은 것을 알아야 합니다. 즉, 모델이 자신이 틀릴 가능성이 높다는 것을 인식하는지, 의료 분야 미세 조정(medical fine-tuning)이 이 능력을 향상시키는지, 올바른 답변이 건전한 임상적 추론에 기반하는지, 또는 실제로 주어진 이미지를 사용하는지에 대한 여부입니다. 우리는 스페인 MIR 전공의 시험에서 80억 개에서 270억 개의 매개변수를 가진 네 가지 개방형 모델을 대상으로 이러한 질문들을 검토했으며, 시험 자체 규칙에 따라 8개 회차의 1,552개 문항을 채점했습니다. 모든 문제에 답변했을 때, 세 개의 더 큰 모델은 대략 상위 600명에서 3,000명의 후보 순위에 속하게 되었으며, 여전히 41개에서 43개의 전문 분야가 열려 있었습니다. 그러나 포기(abstention)는 결코 이득이 되지 못했는데, 이는 그들의 가장 자신감이 낮은 답변조차도 25%의 손익분기점보다 더 자주 맞았기 때문입니다. 의료 분야 미세 조정은 정확도를 희생하면서 과신(overconfidence)을 줄였지만, 신뢰도가 정답과 오답을 구분하는 능력을 향상시키지는 못했습니다. 더욱이, 올바른 답변 중 13~38%는 신뢰도가 반영하지 못한 임상적으로 부적절한 이유로 오답 선택지를 거부했으며, 제공된 맥락 이미지(contextual images)를 제거하거나 교체해도 정확도는 변함이 없었습니다.