사후 샘플링을 통한 Conformal Language Modeling

대규모 언어 모델 (Large Language Models, LLMs)은 여전히 환각 (hallucinations) 문제로 고통받고 있습니다. 최근 연구들은 이론적 및 경험적 성공을 거두며, Conformal Prediction (CP)에 기반한 통계적 기법을 사용하여 이러한 환각의 빈도를 제어하고자 시도해 왔습니다. 그러나 이러한 방법들은 사후 방식 (post-hoc fashion)으로 작동하며, 샘플링 절차 자체를 원자적 (atomic)인 것으로 취급한 뒤 환각된 주장을 제거하기 위해 샘플을 외과적으로 수정합니다. 이러한 필터링과 생성 사이의 단절은 일관성이 없거나, 모순되거나, 혹은 모델 자체에서 단순히 발생 가능성이 낮은 샘플을 초래할 수 있습니다. 더욱이, 사후 수정 방식은 더 유용하고 도움이 되는 응답 쪽으로 확률 질량 (probability mass)을 이동시킬 수 없습니다. 이러한 문제를 해결하기 위해, 우리는 조건부 사건 (conditioning event)이 보정된 (calibrated) 고득점 영역에 해당하는 LLM 사후 확률 (posterior)의 근사치로부터 샘플링할 것을 제안합니다. 우리는 이 영역을 효과적으로 식별하고 목표 위험 제어 (target risk control)를 달성하는, 조건부 순차 생성 (conditional sequential generation) 설정에 맞춤화된 보정 절차를 개발합니다. 경험적으로, 우리는 개방형 전기 생성 (open-ended biography generation) 및 수학 문제 풀이에 초점을 맞춘 사례 연구에 우리의 방법을 적용했습니다. 이전 연구들과 비교했을 때, 우리는 동일한 통계적 보장 (statistical guarantees)을 얻으면서도 더 높은 다운스트림 유용성 (downstream utility)을 확보했습니다.