검색 증강 언어적 교정 (Retrieval-Augmented Linguistic Calibration)

요약

본 논문은 LLM의 언어적 확신 표현을 정교하게 조정하기 위한 '검색 증강 언어적 교정(RALC)' 프레임워크를 제안합니다. 기존의 스칼라 방식 대신 확률 분포를 사용하여 언어적 단서의 가변성을 포착하며, 새로운 지표인 충실도 발산(FD)을 통해 모델의 신뢰도를 정량화합니다. 실험 결과, RALC는 다양한 LLM에서 충실도와 교정 성능을 대폭 향상시켰음을 입증했습니다.

핵심 포인트

• 언어적 확신을 단일 스칼라 값이 아닌 확률 분포로 모델링하여 문맥적 가변성을 포착함
• 모델의 답변이 진실과 다를 때 발생하는 놀라움을 측정하는 '충실도 발산(Faithfulness Divergence)' 지표 제시
• 검색 증강 재작성(Retrieval-augmented rewriting)을 활용한 경량화된 사후 처리 파이프라인(RALC) 개발
• 다양한 벤치마크에서 기존 블랙박스 및 그레이박스 모델 대비 높은 성능 향상 달성