언어 모델에서의 인공적 불확실성 유도 (Inducing Artificial Uncertainty in Language Models)

안전이 중요한 (safety-critical) 애플리케이션에서, 언어 모델 (language models)은 의미 있는 확률을 통해 자신의 불확실성 (uncertainty)을 특성화할 수 있어야 합니다. 많은 불확실성 정량화 (uncertainty quantification) 접근 방식은 지도 학습 데이터 (supervised data)를 필요로 합니다. 하지만 방대한 양의 스크래핑된 데이터로 학습된 대규모 언어 모델 (LLMs)에게 적절하고 보지 못한 도전적인 데이터를 찾는 것은 점점 더 어려워지고 있습니다. 만약 모델이 자신의 예측에 대해 일관되게 (그리고 정확하게) 확신을 가진다면, 불확실성 정량화 방법은 새롭고 생소한 데이터에 대해 일관되게 확신을 과대평가할 수 있습니다. 따라서 고성능 모델을 위한 지도 학습 기반 불확실성 정량화 방법을 훈련시키기에 충분한 불확실성을 보이는 데이터를 찾는 것은 어려울 수 있으며, LLM이 데이터셋을 포화시킴에 따라 그 난이도는 더욱 높아질 것입니다. 이 문제를 해결하기 위해, 우리는 먼저 언어 모델에서 인공적 불확실성 (artificial uncertainty)을 유도하는 문제를 소개한 다음, 훈련 시점에 도전적인 데이터가 없는 상황에서 사소하게 쉬운 데이터 (trivially easy data)에 인공적 불확실성을 유도하는 방법들을 조사합니다. 우리는 원래 모델에서 인공적 불확실성을 인식하도록 훈련된 프로브 (probes)를 사용하며, 인공적 불확실성으로 훈련된 이러한 프로브들이 실제 불확실성을 인식하는 데 있어 인공적 불확실성 없이 훈련된 프로브보다 성능이 뛰어남을 발견했습니다. 이는 쉬운 데이터에서의 성능 손실을 최소화하면서도 어려운 데이터에서 현저히 높은 캘리브레이션 (calibration)을 달성합니다.