Mubric: LLM 평가를 위한 변이 테스트 기반 루브릭 생성

루브릭(Rubric) 기반 평가는 응답 품질을 작업별 채점 기준으로 분해하여 LLM 기반 시스템을 평가하는 데 널리 사용됩니다. 하지만 작업을 특정하는 품질 요구 사항을 신뢰성 있게 포착하는 루브릭을 자동으로 생성하는 것은 여전히 어려운 과제입니다. 우리는 루브릭 생성을 위한 변이 테스트(mutation testing) 안내 접근 방식인 Mubric을 소개합니다. 변이 테스트는 고전적인 소프트웨어 테스트 방법론으로, 프로그램에 결함(faults)을 주입하고 해당 테스트가 이를 감지하는지 확인하여 테스트 스위트(test suite)를 평가합니다. 우리는 테스트 스위트와 루브릭 사이에 유추 관계를 설정합니다: 만약 루브릭이 중요한 품질 요구 사항을 포착한다면, 원래 고품질인 응답에 해당하는 결함을 도입했을 때 그 점수가 낮아져야 합니다. Mubric은 먼저 실제 선호되는(preferred) 응답과 선호되지 않는(dispreferred) 응답 쌍으로부터 일반적인 결함들을 마이닝하고, 이 결함들을 재사용 가능한 변이 연산자(mutation operators)로 추상화합니다. 각 연산자는 특정 유형의 응답 결함을 도입하는 방법을 명시합니다. 새로운 작업을 위해, 이는 관련 연산자를 참조 응답에 적용하고, 주입된 결함들이 응답 품질을 낮추는지 확인하며, 충분히 페널티를 받지 못한(insufficiently penalized) 결함들을 사용하여 루브릭을 정제합니다. 우리는 4가지 대표 도메인에 걸친 703개의 작업에서 Mubric을 6가지 고급 루브릭 생성 방법과 비교하여 평가했습니다. Mubric은 가장 높은 전체 평가 정확도를 달성하며, 가장 강력한 기준선(baseline)보다 7.48 퍼센트 포인트 더 우수함을 입증했습니다.