임상용 대형 언어 모델 (LLM) 의 안전성과 정확성은 다른 확장 법칙을 따른다

임상용 대형 언어 모델 (Clinical LLMs) 은 일반적으로 모델 크기, 컨텍스트 길이, 검색 복잡성, 또는 추론 시간 컴퓨팅 리소스를 증가시켜 규모를 확대하며, 이는 더 높은 정확도가 안전한 행동을 의미한다는 암묵적인 기대에 기반합니다. 그러나 의학 분야에서는 평균 벤치마크 성능보다 몇 가지 확신에 찬 고위험도 오류나 증거와 모순되는 오류가 더 중요할 수 있어 이 가설은 불완전합니다. 우리는 모델 규모, 증거 품질, 검색 전략, 컨텍스트 노출, 추론 시간 컴퓨팅에 따라 임상용 LLM 안전성이 어떻게 변화하는지를 측정하는 SaFE-Scale 프레임워크를 소개합니다. 이를 구현하기 위해, 의사가 정의한 깨끗한 증거 (clean evidence), 모순 증거 (conflict evidence) 및 고위험 오류, 불안전한 답변, 증거 모순에 대한 옵션 레벨 라벨을 포함한 200 개의 다중 선택 질문으로 구성된 RadSaFE-200 라는 방사선 안전에 중점을 둔 평가 벤치마크를 소개합니다. 우리는 6 가지 배포 조건 (클로즈드북 프롬프팅 (zero-shot), 깨끗한 증거, 모순 증거, 표준 RAG, 에이전트형 RAG, 최대 컨텍스트 프롬프팅) 에서 34 개의 로컬 배포 LLM 을 평가했습니다. 깨끗한 증거는 평균 정확도를 73.5% 에서 94.1% 로 증가시키고 고위험 오류를 12.0% 에서 2.6% 로, 모순을 12.7% 에서 2.3% 로, 위험한 과신 (dangerous overconfidence) 을 8.0% 에서 1.6% 로 줄이는 가장 강력한 효과를 보였습니다. 표준 RAG 와 에이전트형 RAG 는 이 안전 프로파일을 재현하지 못했습니다: 에이전트형 RAG 는 정확도를 개선하고 모순을 줄였지만 고위험 오류와 위험한 과신은 여전히 높게 유지되었습니다. 최대 컨텍스트 프롬프팅은 지연 시간을 증가시키면서 안전 격차를 닫지 않았으며, 추가 추론 시간 컴퓨팅은 제한적인 성과만 가져왔습니다. 최악의 경우 분석 (worst-case analysis) 은 임상적으로 중대한 오류가 소수의 질문에서 집중되었다는 것을 보였습니다. 따라서 임상용 LLM 안전성은 규모 확대의 수동적 결과라기보다는 증거 품질, 검색 설계, 컨텍스트 구성 및 집단 실패 행동에 의해 형성되는 배포 속성입니다.