언제 LLM은 침묵해야 하는가? 선택적 위험 제어를 위한 자기 질문 체인(Chain-of-Self-Questioning)
요약
본 논문은 LLM이 사실적 근거가 부족할 때도 유창한 답변을 생성하는 문제를 해결하기 위해 '자기 질문 체인(CoSQ)' 프레임워크를 제안합니다. CoSQ는 답변 확정 시 필요한 정보에 대한 명시적인 평가를 조건화하며, Grounded-CoSQ 프로토콜은 오답 확정률을 크게 줄이고 답변 정확도를 높이는 효과를 입증했습니다.
핵심 포인트
- 자기 질문 체인(CoSQ)은 LLM의 근거 없는 답변 문제를 해결하는 프레임워크입니다.
- Grounded-CoSQ는 오답 확정률을 13.1%에서 8.9%로 줄여 성능을 개선했습니다.
- 이러한 자기 평가는 명시적이고 조정 가능한 '침묵' 결정까지 지원할 수 있음을 보여줍니다.
대규모 언어 모델(LLMs)은 사실적 근거가 약할 때도 유창한 답변을 생성할 수 있습니다. 본 논문에서는 답변의 확정(answer commitment)을 질문에 답하는 데 필요한 정보에 대한 명시적인 평가에 조건화하는 프롬프트 전용 프레임워크인 자기 질문 체인(Chain-of-Self-Questioning, CoSQ)을 소개합니다. 우리는 11개의 오픈 가중치 및 호스팅 모델 패밀리를 사용하여 817개 항목의 TruthfulQA 객관식 검증 세트에서 세 가지 CoSQ 변형을 17가지 조건 하에 평가했습니다. 최종 균형 옵션 프로토콜에서, $ au=0.90$인 Grounded-CoSQ는 체인-오브-thought 프롬프팅 시의 평균 무조건 오답 확정률(unconditional wrong-commitment rate)을 13.1%에서 8.9%로 줄여 상대적으로 32.1% 감소시켰으며, 답변 정확도는 86.9%에서 89.7%로 높이고 질문의 87.6%에 답했습니다. 이러한 개선은 모든 11개 모델과 평가된 모든 임계값에서 유지되었습니다. Critical-CoSQ와 Adaptive-CoSQ는 각각 88.6% 및 86.5%의 커버리지를 제공하며, 베이스라인보다 더 신뢰성을 유지합니다. 보조적인 Natural Questions 단답형 평가는 수렴하는 개방형 증거를 제공했습니다. 이러한 발견들은 지원되지 않은 확정(unsupported commitment)이 참조나 검토보다 비용이 많이 들 때, 자기 평가가 명시적이고 조정 가능한 답변 또는 침묵 결정을 지원할 수 있음을 보여줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기