임상 증거의 강도는 언어 모델의 표현(representations)으로부터는 복구 가능하지만, 모델이 명시한 등급으로부터는 복구할 수 없다

요약

LLM의 내부 표현(representations)을 통해 임상 증거의 강도를 복구할 수 있지만, 모델이 직접 명시하는 등급은 신뢰할 수 없음을 밝힌 연구입니다. 모델의 활성화 값은 증거 수준을 인지하고 있으나, 텍스트로 출력되는 확신도는 실제 증거 강도와 일치하지 않습니다.

핵심 포인트

• LLM 내부 표현을 통해 임상 증거 등급 복구 가능 (AUROC 71.8)
• 모델이 직접 명시하는 등급은 확률 수준에 불과함
• 증거 복구 신호는 주로 어휘적이며 모델 규모에 비례하지 않음
• 추론 모델에서 증거 등급 해독 능력이 가장 낮게 나타남