검색 증강 언어적 교정 (Retrieval-Augmented Linguistic Calibration)
요약
본 논문은 LLM의 언어적 확신 표현을 정교하게 조정하기 위한 '검색 증강 언어적 교정(RALC)' 프레임워크를 제안합니다. 기존의 스칼라 방식 대신 확률 분포를 사용하여 언어적 단서의 가변성을 포착하며, 새로운 지표인 충실도 발산(FD)을 통해 모델의 신뢰도를 정량화합니다. 실험 결과, RALC는 다양한 LLM에서 충실도와 교정 성능을 대폭 향상시켰음을 입증했습니다.
핵심 포인트
- 언어적 확신을 단일 스칼라 값이 아닌 확률 분포로 모델링하여 문맥적 가변성을 포착함
- 모델의 답변이 진실과 다를 때 발생하는 놀라움을 측정하는 '충실도 발산(Faithfulness Divergence)' 지표 제시
- 검색 증강 재작성(Retrieval-augmented rewriting)을 활용한 경량화된 사후 처리 파이프라인(RALC) 개발
- 다양한 벤치마크에서 기존 블랙박스 및 그레이박스 모델 대비 높은 성능 향상 달성
"I believe"나 "probably"와 같은 언어적 단서 (Linguistic cues)는 확신을 전달하는 직관적인 인터페이스를 제공하지만, 언어적 확신 표현을 위한 일반화 가능하고 원칙적인 교정 (Calibration) 프레임워크는 여전히 미개척 분야로 남아 있습니다. 특히, 함께 나타나는 언어적 단서, 문맥적 변동성, 그리고 청중의 주관적 해석은 독특한 과제를 제기합니다. 따라서 우리는 언어적 확신을 문장이 옳다는 것에 대해 그럴듯하게 인지된 확률 값 (Perceived probability values)의 분포로 모델링하여, 스칼라 (Scalar) 표현 방식이 버리는 해석의 가변성을 포착합니다. 이러한 분포적 프레임워크 내에서, 우리는 충실도 (Faithfulness)를 보완적인 평가 차원으로 도입하고, 진실이 밝혀졌을 때 청중의 믿음에 유도된 놀라움을 정량화하는 정보 이론적 지표인 충실도 발산 (Faithfulness Divergence, FD)을 제시합니다. 이러한 토대 위에, 우리는 검색 증강 재작성 (Retrieval-augmented rewriting)을 통해 교정된 확신 신호를 자연어로 다시 전파하는 경량화된 사후 처리 (Post-hoc) 파이프라인인 검색 증강 언어적 교정 (Retrieval-Augmented Linguistic Calibration, RALC)을 선보입니다. 세 가지 질의응답 (QA) 벤치마크와 다섯 가지 LLM 제품군에 걸쳐, RALC는 도메인 내 충실도와 교정 성능을 각각 최대 66%와 58%까지 향상시켰으며, 블랙박스 (Black-box) 및 그레이박스 (Grey-box) 교정 베이스라인 모델들을 능가했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기