시험대 위의 루브릭: 단일 쿼리로부터 합성 쌍별 증거를 통해 진화하는 루브릭

요약

본 논문은 LLM 평가 및 훈련에 사용되는 루브릭(Rubrics)의 신뢰성 문제를 다루며, 기존 방식의 한계를 극복하는 새로운 프레임워크를 제안합니다. 'Rubrics on Trial'이라는 이 프레임워크는 외부 주석이나 모델 훈련 없이 합성된 응답 쌍으로부터 루브릭 세트를 진화시킵니다. 이를 통해 비구별적이거나 과도하게 특정적인 후보 루브릭을 효과적으로 걸러내어 평가의 정확도를 높입니다.

핵심 포인트

• Rubrics는 LLM 훈련 및 평가에 구조적 신호를 제공한다.
• 기존 방식은 사람이 작성하거나 샘플링된 데이터에 의존하여 한계가 있다.
• 'Rubrics on Trial'은 합성 응답 쌍만으로 루브릭을 진화시키는 프레임워크이다.
• 제안된 방법론은 다양한 벤치마크에서 높은 평균 정확도를 입증했다.