LLM-as-a-Judge(판사로서의 LLM)는 기존 지표들의 단점과 인간의 판단과의 높은 상관관계 덕분에 많은 자연어 생성 (NLG) 작업에서 지배적인 평가 패러다임이 되었습니다. 비록 대부분 영어 환경에 국한되어 있기는 하지만 말입니다. 현재 저자원 언어 (low-resource languages)를 포함한 다국어 환경으로 LLM-as-a-Judge를 확장하려는 시도들이 이루어지고 있습니다. 그러나 LLM은 저자원 언어에 대한 숙련도가 제한적이며, 이러한 환경에서는 적절한 인간 검증 (human validation)이 없는 경우가 많습니다. 문제의 범위와 현재의 관행을 강조하기 위해, 우리는 다양한 작업 세트에 걸쳐 다국어 환경 및 저자원 언어에 초점을 맞춘 ACL Anthology 논문들에서 LLM-as-a-Judge 평가자의 사용을 탐색합니다. LLM-as-a-judge를 언급한 650개의 논문 중, 저자원 또는 다국어 환경에 초점을 맞춘 논문은 33개에 불과했습니다. 이 논문들에 대한 심층 분석 결과, 일관되지 않은 평가 결과, 다국어 환경에서 LLM의 판단을 과도하게 신뢰하는 경향, 그리고 연구당 단일 판사 모델에 광범위하게 의존하는 현상이 나타났습니다. NLP 커뮤니티를 더욱 돕기 위해, 우리는 다국어 및 저자원 환경에서 LLM-as-a-Judge를 사용하는 방법에 대한 권장 사항을 제시하며 결론을 맺습니다.