LLM은 신뢰할 수 있는 루브릭을 작성할 수 있을까? 실험 재현을 위한 메타 평가

요약

본 연구는 LLM 기반 연구 에이전트의 개방형 출력을 평가하는 루브릭 생성에 대한 체계적인 메타 평가를 제시합니다. 논문 재현 분야에서 특히 유용한 이 접근 방식은, 루브릭을 체크리스트 형식으로 재구성하고 다양한 설정을 테스트했습니다. 그 결과, 증강된 설정이 다운스트림 평가 정렬을 개선하며 인간 기준선에 근접함을 확인했지만, LLM 생성 루브릭의 한계점도 함께 제시했습니다.

핵심 포인트

• LLM 기반 연구 에이전트 평가는 유망하나 전문가 노력이 필요함.
• 메타 평가는 체크리스트 형식과 4가지 생성 설정을 평가함.
• 증강된 설정은 다운스트림 평가 정렬을 크게 개선함.
• LLM 생성 루브릭은 지나치게 세부적이거나 높은 점수에 편향될 수 있음.