답변 타당성 점수 산출을 통한 대규모 언어 모델(LLMs)의 질문 난이도 추정

요약

본 논문은 LLM 평가 및 개선의 핵심 요소인 질문 난이도를 추정하는 새로운 방법 Q-DAPS(Question Difficulty based on Answer Plausibility Scores)를 제안한다. Q-DAPS는 후보 답변들의 타당성 점수 엔트로피를 계산하여 질문 난이도를 측정하며, 기존 방식들이 포착하지 못했던 LLM의 복잡한 추론 과제를 평가할 수 있다. 광범위한 실험을 통해 Q-DAPS가 다양한 QA 데이터셋에서 높은 성능과 강건성을 입증했으며, 인간 평가와도 높은 일치성을 보였다.

핵심 포인트

• Q-DAPS는 후보 답변들의 타당성 점수 엔트로피를 활용하여 질문 난이도를 추정하는 새로운 접근 방식이다.
• 기존의 가독성 공식이나 인기도 통계 기반 방법보다 LLM의 복잡한 추론 과제를 더 잘 포착한다.
• TriviaQA, NQ, MuSiQue, QASC 등 주요 QA 데이터셋에서 베이스라인 모델들을 지속적으로 능가하는 성능을 보였다.
• 광범위한 어블레이션 연구와 인간 평가를 통해 높은 강건성과 해석 가능성을 입증했다.