Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
임상 텍스트 요약 시 LLM의 토큰 수준 불확실성을 정량화하는 Reverse Probing 프레임워크를 제안합니다. 모델의 내부 활성화를 탐사하여 기존 방식보다 낮은 비용으로 높은 정확도의 불확실성 신호를 추출합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기대규모 언어 모델 (Large Language Models, LLMs)이 임상 텍스트에 점점 더 많이 배치됨에 따라, 모델이 스스로의 불확실성 (Uncertainty)을 신뢰할 수 있게 신호로 나타낼 수 있도록 보장하는 것이 매우 중요해졌습니다. 기존의 대부분의 불확실성 정량화 (Uncertainty Quantification, UQ) 방법들은 오픈 도메인 생성 (Open-domain generation)을 위해 설계되었으며, 긴 임상 텍스트 내에서 토큰 (Token) 또는 스팬 (Span) 수준의 불확실성을 국지화 (Localize)할 수 없습니다. 우리는 임상 요약 (Clinical summarization)에 특화된 최초의 UQ 프레임워크인 Reverse Probing을 제안하며, 이는 기존에 라벨링된 요약본으로부터 토큰 수준의 불확실성을 직접 추정합니다. 새로운 출력을 샘플링하는 대신, Reverse Probing은 텍스트를 모델의 내부 상태 (Internal state)를 탐사하는 프로브 (Probe)로 취급하여, 네 가지 범주의 내부 활성화 (Internal activations)로부터 불확실성 신호를 추출합니다. 우리는 전문가가 주석을 단 두 개의 임상 데이터셋에서 평가를 진행하였으며, 모든 지표에서 변형된 8개의 베이스라인 (Baselines) 모델보다 뛰어난 성능을 보였고, 추론 시간 (Inference time)과 계산 비용 (Computational costs)을 줄이면서도 AUPRC를 최대 4배까지 높였습니다. 특징 분석 (Feature analysis) 결과, 델타 에너지 (Delta energy)와 이웃 컨텍스트 (Neighborhood context)가 모든 모델에서 가장 일관된 예측 인자임을 밝혀냈습니다. 본 연구는 모델이 근거 없는 임상 콘텐츠에 대해 내부적으로 어떻게 반응하는지에 대한 해석 가능한 통찰을 제공합니다.