요약

TL;DR: 'Language Models (Mostly) Know What They Know' 논문은 언어 모델이 진술의 진실성 (P(True)) 과 질문에 대한 답변 가능성 (P(IK)) 을 미리 예측할 수 있음을 보여줍니다. trivia, 수학, 프로그래밍 등 다양한 분야에서 모델은 적절한 포맷을 통해 80% 같은 확률 예측이 실제 발생 빈도와 일치하는 '잘 보정된 (well-calibrated)' 상태를 유지함을 입증했습니다.

핵심 포인트

• 언어 모델은 진술의 진실성 (P(True)) 과 질문에 대한 답변 지식 여부 (P(IK)) 를 별도의 예측기로 평가할 수 있음
• trivia, 스토리 완성, 산술, 수학 문제, Python 프로그래밍 등 다양한 도메인에서 모델의 자기 평가 능력을 검증함
• 적절한 포맷을 사용하면 다중 선택형 작업과 참/거짓 (True/False) 평가에서 대형 언어 모델이 잘 보정됨 (calibrated)