구조에서 유효성으로: 메커니즘 기반의 LLM 루브릭 생성 및 개선

요약

본 논문은 LLM 평가의 핵심 도구인 루브릭(Rubric) 생성 및 개선에 대한 메커니즘적 분석을 제시합니다. 기존 연구가 단순히 좋은 루브릭 생성에만 초점을 맞춘 것과 달리, 기준 구성 조직화, 운영화, 점수 집계 전반을 체계적으로 분석했습니다. 이를 바탕으로 적응형 루브릭 트리 탐색과 하이브리드 개선(ARTS-Hybrid)이라는 새로운 방법을 제안하며, 이 방법이 평가 성능과 루브릭 품질 모두를 향상시킴을 입증했습니다.

핵심 포인트

• 루브릭 설계의 메커니즘적 분석을 통해 효과적인 기준 구성 방식을 제시함.
• 단순 의미론적 명세만으로는 충분하지 않으며 구조화가 중요함을 강조함.
• ARTS-Hybrid는 적응형 트리 탐색과 하이브리드 개선을 결합한 방법임.
• 제안된 ARTS-Hybrid가 평가 성능 및 루브릭 품질 향상에 효과적임을 입증함.