자신감 너머: LLM의 성능 예측을 위한 자기 평가 재고찰

요약

본 기사는 대규모 언어 모델(LLMs)의 신뢰성 평가에 대한 새로운 접근 방식을 제안합니다. 기존의 확률적 정확도 추정치나 단순한 '자신감' 지표가 LLM의 실제 성능을 예측하는 데 한계가 있음을 지적하며, 인간 심리학의 인지 평가 이론(cognitive appraisal theory)을 차용했습니다. 이에 따라 자신감 외 6가지 추가적인 평가 기반 차원을 도입하여 모델 자기 평가를 다차원적으로 분석하고, 이를 통해 LLM 실패를 더 효과적으로 예측할 수 있음을 입증합니다.

핵심 포인트

• LLM 신뢰성 평가는 단순한 확률적 정확도 추정치를 넘어선 진화가 필요하다.
• 기존의 '자신감' 지표는 LLM 성능을 예측하는 데 있어 일관성이 없고 과도하게 낙관적일 수 있다.
• 인간 심리학의 인지 평가 이론(cognitive appraisal theory)을 활용하여 모델 자기 평가를 다차원적으로 분해할 것을 제안한다.
• 자신감 외 6가지 추가적인 평가 기반 차원을 도입하여 LLM 실패 예측에 유용성을 검증했다.