언어 모델이 특정 쿼리에 대한 관련 지식을 부족할 때, 그들은 종종 무지를 인정하기보다 환각 (hallucinations) 이 될 수 있는 그럴듯한 응답을 생성하는 경우가 많습니다. 모델을 재학습하여 무지를 인정하는 행동을 보상하면 평가 벤치마크가 희소하여 지나치게 보수적인 행동과 낮은 일반화 성능으로 이어질 수 있습니다. 우리는 형식적 예측 (CP) 에서 차용한 후속 프레임워크인 Conformal Abstention (CA) 을 제안합니다. CA 는 쿼리에 대해 응답을 중단할지 여부를 결정하기 위해 사용됩니다. CA 는 참여 확률 (즉, abstain 하지 않음) 과 생성된 응답이 정확한 확률에 대해 유한 샘플 보장을 제공합니다. 특히, Abstention 결정은 CP 에서 사용되는 비일치 점수 (non-conformity scores) 가 아닌 예측 신뢰도 (prediction confidence) 에 의존합니다. 이는 오픈엔드드 생성에는 계산 불가능하기 때문입니다. 모델 내의 표현 기하학 (representation geometry) 을 사용하여 응답 형성에 대한 지식 관여도를 측정함으로써 예측 신뢰도와 모델의 무지를 더 잘 일치시키기 위해 보정 전략을 도입했습니다. 실험 결과, 우리는 75 퍼센트의 조건부 정확도 (conditional correctness) 로 선택적 답변 (selective answering) 을 유의미하게 개선함을 보여주었습니다.