연구진은 결정 모델 Jev가 다국어 평가자(Judge)로 활용될 수 있는지 검증했습니다. Jev는 GPT-6.1 대비 비용 효율적이며 대부분의 다국어 작업에서 경쟁력을 보였습니다. 다만, 지식 집약적 답변 검증에서는 성능이 떨어지고 저자원 언어에서 오류를 수용할 가능성이 높다는 한계점도 발견했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기생성형 대규모 언어 모델(generative large language models)은 다국어 텍스트 평가에 광범위하게 사용되고 있지만, 판단 확률을 직접 출력하는 결정 모델(decision models)이 다국어 평가자로 활용될 수 있는지에 대한 연구는 제한적이었습니다. 우리는 Jev를 인간 주석이 달린 네 가지 다국어 벤치마크에서 생성형 LLM 평가자와 비교하여 평가했습니다. 이 벤치마크들은 최대 47개 언어 변이를 포괄하며, 이진 결정(binary decisions), 쌍별 비교(pairwise comparisons), 그리고 등급 부여 평점(graded ratings)의 세 가지 평가 형식을 다룹니다.
Jev는 GPT-6.1의 평가 비용 대비 약 $1/31$에서 $1/61$ 수준으로, 대부분의 다국어 평가 작업에서 경쟁력을 보이지만, 지식 집약적 답변 검증(knowledge-intensive answer verification)에서는 GPT-6.1에 뒤처지는 것으로 나타났습니다. 추가 분석 결과, Jev는 영어보다 저자원 언어(low-resource languages)에서 부정확한 답변을 수용할 가능성이 더 높으며, 그 확률 출력값은 작업 전반에 걸쳐 오류를 식별하는 데 도움을 주는 것으로 확인되었습니다. 이러한 발견을 바탕으로, 우리는 평가 지침, 신뢰도 기반 선택(confidence-based selection), 그리고 모델 라우팅(model routing)에 대한 권장 사항을 제시하며, Jev를 다국어 평가자로 사용하는 데 있어 경험적 가이드를 제공합니다.