Reverse Probing: 임상 텍스트 내 대규모 언어 모델을 위한 지도 학습 기반 토큰 수준 불확실성 정량화 (Uncertainty

대규모 언어 모델 (Large Language Models, LLMs)이 임상 텍스트에 점점 더 많이 배치됨에 따라, 모델이 스스로의 불확실성 (Uncertainty)을 신뢰할 수 있게 신호로 나타낼 수 있도록 보장하는 것이 매우 중요해졌습니다. 기존의 대부분의 불확실성 정량화 (Uncertainty Quantification, UQ) 방법들은 오픈 도메인 생성 (Open-domain generation)을 위해 설계되었으며, 긴 임상 텍스트 내에서 토큰 (Token) 또는 스팬 (Span) 수준의 불확실성을 국지화 (Localize)할 수 없습니다. 우리는 임상 요약 (Clinical summarization)에 특화된 최초의 UQ 프레임워크인 Reverse Probing을 제안하며, 이는 기존에 라벨링된 요약본으로부터 토큰 수준의 불확실성을 직접 추정합니다. 새로운 출력을 샘플링하는 대신, Reverse Probing은 텍스트를 모델의 내부 상태 (Internal state)를 탐사하는 프로브 (Probe)로 취급하여, 네 가지 범주의 내부 활성화 (Internal activations)로부터 불확실성 신호를 추출합니다. 우리는 전문가가 주석을 단 두 개의 임상 데이터셋에서 평가를 진행하였으며, 모든 지표에서 변형된 8개의 베이스라인 (Baselines) 모델보다 뛰어난 성능을 보였고, 추론 시간 (Inference time)과 계산 비용 (Computational costs)을 줄이면서도 AUPRC를 최대 4배까지 높였습니다. 특징 분석 (Feature analysis) 결과, 델타 에너지 (Delta energy)와 이웃 컨텍스트 (Neighborhood context)가 모든 모델에서 가장 일관된 예측 인자임을 밝혀냈습니다. 본 연구는 모델이 근거 없는 임상 콘텐츠에 대해 내부적으로 어떻게 반응하는지에 대한 해석 가능한 통찰을 제공합니다.