Rubric-as-Experts: 번역 품질 평가를 위한 사례별 MQM 루브릭

대규모 언어 모델 (LLMs)은 미세한 번역 품질 평가 (QE) 분야에서 강력한 잠재력을 보여주었으나, 기존의 MQM 기반 접근 방식은 일반적으로 모든 번역 샘플에 공유되는 고정된 루브릭 (rubric) 설정에 의존합니다. 그러나 번역 사례들은 오류의 복잡성, 모호성 및 요구되는 평가 세밀도 (granularity) 측면에서 상당히 다른 경우가 많으며, 이는 정적인 루브릭 할당이 구간 단위 (span-level) 오류 탐지에 최적화되지 않음을 의미합니다. 우리는 더 큰 MQM 하위 유형 (subtype) 공간이 오류 커버리지를 향상시키지만 동시에 더 많은 위양성 (false positives)을 유발한다는 점을 발견했으며, 서로 다른 번역 사례들이 서로 다른 루브릭 세밀도를 선호한다는 점을 확인했습니다. 이는 평가 공간이 각 사례에 따라 동적으로 할당되어야 함을 시사합니다. 이러한 관찰에 착안하여, 우리는 개별 번역 사례를 위해 MQM 평가 공간을 적응적으로 구축하는 사례별 동적 루브릭 프레임워크를 제안합니다. 완전히 자유 형식인 루브릭 생성 방식과 달리, 우리의 프레임워크는 사전 정의된 MQM 분류 체계 (taxonomy)를 유지하면서도 서로 다른 사례에 적합한 하위 유형 공간과 평가 세밀도를 동적으로 선택합니다. 다양한 모델 규모에 걸친 WMT 구간 단위 QE 벤치마크에서의 실험 결과, 제안된 프레임워크가 정적 루브릭 설정과 비교하여 MCC를 일관되게 향상시키고 더 깨끗한 구간 단위 오류 국지화 (localization)를 생성함을 입증했습니다. 우리의 결과는 구조화된 MQM 루브릭을 사례별 적응형 할당과 결합하는 것이 미세한 LLM 기반 번역 평가를 위한 효과적인 전략임을 시사합니다.