Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 정답(ground-truth)이 없는 환경에서 LLM 심사관의 신뢰성을 평가했습니다. 실험 결과, 참조 답변이 없을 때 심사 모델들이 부정확한 답변을 과대평가하는 경향을 보였습니다. 또한, 프롬프트에 참조 정보를 추가하면 심사 모델의 판단이 크게 개선됨을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기LLM 심사관(judge)은 종종 정답(ground-truth answer)을 알 수 없는 노-레퍼런스(no-reference) 환경에서 개방형 모델 응답을 평가하는 데 점점 더 많이 사용되고 있습니다. 하지만 이러한 평가 설정에서 이들이 신뢰할 수 있게 평가할 수 있을까요? 본 논문에서는 다음 두 가지를 통해 이 질문을 탐구합니다: a) 심사 모델이 평가하는 작업에 대한 지식을 평가하는 보정(calibration) 실험, 그리고 b) 프롬프트 내 참조 답변의 존재 여부와 위치가 심사 모델의 성능에 어떻게 영향을 미치는지 평가하는 민감도(sensitivity) 실험입니다. 세 가지 언어를 포괄하는 실험 전반에 걸쳐, 우리는 평가한 심사 모델들이 참조 답변이 없을 때 부정확한 답변을 과대평가하는 경향이 있으며, 프롬프트에 참조 답변 정보를 추가하면 일부 실험 설정에서 심사 모델의 정답/오답 결정이 최대 85%까지 뒤집힌다는 것을 보여줍니다. 인간 주석(human annotations)의 하위 집합과의 비교는 이러한 참조 기반 변화가 일반적으로 인간의 판단과 일치함을 보여줍니다. 우리의 결과는 신뢰성 있게 노-레퍼런스 설정에서 사용하기 전에, 참조 인식 평가 샘플로 LLM 심사관을 보정할 필요성을 강조하며, 우리의 방법론은 다른 작업을 위해 LLM 심사관을 보정하는 연구자와 실무자들에게 청사진을 제공합니다.