임상 추론 그래프: LLM 진단 추론의 구조적 평가를 통해 드러난 일관성 없는 역량

요약

LLM의 임상 진단 정확도와 실제 추론 과정의 구조적 일관성 사이의 괴리를 분석한 연구입니다. 임상 추론 그래프를 통해 모델이 유사한 사례에 대해 일관된 추론 패턴을 보이는지 평가한 결과, 정확도와 별개로 구조적 일관성이 부족함을 확인했습니다.

핵심 포인트

• 임상 추론 그래프를 통한 LLM의 구조적 추론 패턴 평가 방법론 제시
• 진단 정확도가 높더라도 임상적 유사 사례 간 추론 일관성은 낮음
• 정답 여부와 상관없이 모델 간 그래프 유사성이 유사하게 나타남
• 구조적 성찰 프롬프팅이 특징 분석은 늘리지만 사례 간 일관성은 개선 못 함
• LLM 진단 역량 평가를 위해 프로세스 수준의 평가 보완 필요