LLM이 언어적 불확실성 표지(Linguistic Uncertainty Markers)를 사용하여 내재적 확신을 신뢰성 있게 반영할 수 있는가?

LLM(Large Language Models)이 언어적으로 표현하는 확신은 모델의 내재적 불확실성(intrinsic uncertainty)을 충실히 반영해야 합니다. 최근 연구에 따르면 LLM이 인식론적 표지(epistemic markers, 예: "~일 가능성이 높습니다...")를 인간과 정렬된(human-aligned) 방식으로 사용하는 데 어려움을 겪는 것으로 나타났으나, 모델이 자신만의 언어적 확신 프레임워크를 적용하여 특정 표지를 안정적이고 일반화 가능한 방식으로 특정 확신 수준과 연관시킬 수 있는지, 그리고 문맥적 특징(contextual features)이 이러한 능력에 어떤 영향을 미치는지에 대해서는 여전히 불분명합니다. 본 연구에서는 이 질문에 대한 최초의 체계적인 연구를 수행하며, 주어진 작업 도메인에서 모델이 특정 인식론적 표지와 연관시키는 추정된 내재적 확신을 _표지 내적 확신(marker internal confidence, MIC)_으로 공식화합니다. 우리는 분포 내 및 분포 간 MIC의 안정성을 평가하기 위한 7가지 지표를 제시합니다. 다양한 모델과 작업에 분석 프레임워크를 적용한 결과, LLM은 표지 의미에 대한 모델 중심적 해석(model-centric interpretation) 하에서도 여전히 충실하게 미보정(miscalibrated)된 상태로 남아 있으며, 작업 전반에 걸쳐 어느 정도 일관된 순위(ranking order)를 유지함에도 불구하고 분포에 따라 내적 확신에 의한 표지 구분에 어려움을 겪는다는 것을 발견했습니다. 이는 LLM의 충실한 보정(faithful calibration)에 대한 총체적인 이해를 돕기 위해 기존 연구에 중요한 보완적 증거를 제공하며, 신뢰성과 안정성을 향상시키기 위해 더욱 정렬되고 안정적인 표지 사용이 필요함을 강조합니다.