언어 모델에 대한 기하학 보정형 형식적 Abstention

요약

본 논문은 언어 모델이 지식이 부족할 때 환각(hallucination)을 생성하는 문제를 해결하기 위해 Conformal Abstention (CA)이라는 새로운 프레임워크를 제안합니다. CA는 쿼리에 대해 응답을 중단할지 여부를 결정하며, 참여 확률과 생성된 응답의 정확한 확률에 대한 유한 샘플 보장을 제공합니다. 특히, 모델 내부 표현 기하학(representation geometry)을 활용하여 예측 신뢰도를 측정함으로써, 모델의 무지를 더 잘 반영하고 선택적 답변 능력을 크게 향상시킬 수 있음을 실험적으로 입증했습니다.

핵심 포인트

• 언어 모델은 지식 부족 시 환각을 생성하는 경향이 있어, 이를 해결할 새로운 접근 방식이 필요합니다.
• 제안된 Conformal Abstention (CA) 프레임워크는 응답 중단(abstain) 여부를 결정하여 모델의 불확실성을 관리합니다.
• CA는 예측 신뢰도에 기반하며, 이는 오픈엔드 생성 환경에서 계산 가능한 지표입니다.
• 모델 내부 표현 기하학을 활용한 보정 전략은 무지 측정과 예측 신뢰도를 효과적으로 연결합니다.
• 실험 결과, CA를 적용하여 조건부 정확도가 75%까지 유의미하게 개선됨을 보여주었습니다.