LLM 심사관(judge)은 종종 정답(ground-truth answer)을 알 수 없는 노-레퍼런스(no-reference) 환경에서 개방형 모델 응답을 평가하는 데 점점 더 많이 사용되고 있습니다. 하지만 이러한 평가 설정에서 이들이 신뢰할 수 있게 평가할 수 있을까요? 본 논문에서는 다음 두 가지를 통해 이 질문을 탐구합니다: a) 심사 모델이 평가하는 작업에 대한 지식을 평가하는 보정(calibration) 실험, 그리고 b) 프롬프트 내 참조 답변의 존재 여부와 위치가 심사 모델의 성능에 어떻게 영향을 미치는지 평가하는 민감도(sensitivity) 실험입니다. 세 가지 언어를 포괄하는 실험 전반에 걸쳐, 우리는 평가한 심사 모델들이 참조 답변이 없을 때 부정확한 답변을 과대평가하는 경향이 있으며, 프롬프트에 참조 답변 정보를 추가하면 일부 실험 설정에서 심사 모델의 정답/오답 결정이 최대 85%까지 뒤집힌다는 것을 보여줍니다. 인간 주석(human annotations)의 하위 집합과의 비교는 이러한 참조 기반 변화가 일반적으로 인간의 판단과 일치함을 보여줍니다. 우리의 결과는 신뢰성 있게 노-레퍼런스 설정에서 사용하기 전에, 참조 인식 평가 샘플로 LLM 심사관을 보정할 필요성을 강조하며, 우리의 방법론은 다른 작업을 위해 LLM 심사관을 보정하는 연구자와 실무자들에게 청사진을 제공합니다.