루브릭 기반 평가는 LLM(대규모 언어 모델) 기반 연구 에이전트의 개방형 출력을 평가하는 유망한 접근 방식이며, 특히 직접적인 논문-리포지토리 비교가 환각에 취약한 논문 재현 분야에서 그렇습니다. 하지만 논문별 루브릭을 구성하려면 상당한 전문가 노력이 필요하여 PaperBench와 같은 벤치마크의 확장성을 제한합니다. 본 연구에서는 저희가 아는 한, 논문 재현을 위한 LLM 생성 루브릭에 대한 최초의 체계적인 메타 평가를 제시합니다. 우리는 루브릭을 체크리스트 스타일 형식으로 재구성하고 두 개의 백본 모델(backbone model)에서 네 가지 생성 설정을 평가합니다. 우리는 의미적 유사성(semantic similarity)을 통해 내재적으로, 그리고 정답 루브릭과의 점수 일치도(score alignment)를 통해 외재적으로 생성된 루브릭을 메타 평가합니다. 우리의 결과는 증강된 설정이 다운스트림 평가 정렬을 상당히 개선하며, 가장 강력한 설정은 인간의 기준선에 근접하는 반면, 내재적 이득은 더 미미하다는 것을 보여줍니다. 추가 분석에 따르면 LLM 생성 루브릭은 종종 지나치게 세부적이고(overly fine-grained), 높은 점수에 편향되어 있으며(biased toward high scores), 논문 도메인에 덜 적응적이라는 것을 밝혀내어, 그 가능성과 한계를 모두 강조합니다.