에이전트 시나리오에서 LLM-as-a-Judge가 루브릭(Rubric)을 신뢰성 있게 검증할 수 있는가?

루브릭(Rubric) 기반 점수 산정은 모델 평가에서 널리 사용되는 패러다임이 되었으며, 일반적으로 루브릭 점수 산정을 위해 LLM-as-a-Judge (LaaJ)를 활용합니다. 그러나 루브릭 점수 산정을 위한 LaaJ의 신뢰성은 아직 충분히 연구되지 않았습니다. 이러한 우려는 에이전트(Agentic) 시나리오에서 특히 두드러지는데, 길고 복잡한 출력이 신뢰할 수 있는 점수 산정을 더욱 어렵게 만들기 때문입니다. 이를 해결하기 위해, 우리는 루브릭 검증에 대한 LaaJ 신뢰성의 체계적인 메타 평가(Meta-evaluation)를 수행합니다. 우리는 에이전트 시나리오의 루브릭 검증에서 LaaJ의 신뢰성을 평가하기 위한 최초의 벤치마크인 RuVerBench를 도입합니다. RuVerBench는 심층 연구(Deep research)와 에이전트 코딩(Agentic coding)이라는 두 가지 유행하는 에이전트 도메인을 다루며, 모델이 생성한 출력, 루브릭, 그리고 출력이 루브릭을 충족하는지 여부를 나타내는 인간 주석 라벨(Human-annotated label)을 포함하는 2,458개의 인스턴스로 구성됩니다. RuVerBench를 사용하여 우리는 수많은 최첨단(Frontier) LLM들을 평가하였으며, 가장 진보된 모델들조차 강력한 성능을 달성하지만 여전히 상당한 노이즈(Noise)를 보인다는 것을 발견했습니다. 우리는 더 나아가 프롬프트 디자인(Prompt design), 배치(Batching), 다수결 투표(Majority voting)를 포함한 주요 LaaJ 전략이 루브릭 검증에 미치는 영향을 분석합니다. 우리는 성능이 낮은 모델일수록 프롬프트 변화에 더 민감하며, 배치 검증은 정확도와 효율성 사이의 트레이드오프(Trade-off)를 나타내고, 다수결 투표는 효과적이지만 수익 체감(Diminishing returns)의 법칙이 적용된다는 것을 발견했습니다. 우리는 향후 연구를 촉진하기 위해 데이터셋과 코드를 공개했습니다: https://github.com/THU-KEG/RuVerBench.