평가자(Judge)가 바뀌면 측정값도 변한다: LLM-as-Judge 신뢰성 감사

요약

LLM-as-Judge의 신뢰성은 평가자 변경에 따라 측정값이 달라지는 '평가자 교체 모호성' 문제를 안고 있습니다. 본 연구는 다양한 판단 데이터셋에서 Qwen3 모델 확장 및 MiniMax API 이동 등 두 가지 업그레이드 경로를 비교 분석했습니다. 그 결과, 더 강력한 평가자가 위치 편향과 장황함 편향을 줄이기는 하지만 완전히 제거하지 못하며, 보고서에 상세한 감사 추적 기록이 필요함을 강조합니다.

핵심 포인트

• 평가자 변경은 LLM-as-Judge 점수의 변동성을 야기하는 주요 문제입니다.
• 모델 업그레이드 간의 이득은 상호 교환적이지 않으며, 특정 버전 변화에서만 견고한 개선을 보였습니다.
• 더 강력한 평가자는 편향(position/verbosity bias)을 줄이지만 제거하지는 못합니다.
• LLM-as-Judge 보고서에는 데이터셋 슬라이스 및 프로토콜 감사 추적 기록이 필수입니다.