Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
다국어 LLM 판사 모델에서 발생하는 언어 간 불일치를 노이즈가 아닌 상호 보완적인 신호로 활용하는 SEMJ를 제안합니다. SEMJ는 반복적인 자기 성찰과 재평가를 통해 다국어 변형 간의 불일치를 개선하며, 기존 방식보다 높은 정확도와 일관성을 달성합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기다국어 LLM-as-a-judge (LLM 판사) 방식은 여러 언어에 걸쳐 모델의 출력을 평가하는 데 널리 사용되지만, 교차 언어적 불일치 (cross-lingual inconsistency) (Fu and Liu, 2025) 문제를 겪습니다. 기존 방법들은 일반적으로 이러한 불일치를 노이즈로 취급하며, 투표 (voting) 또는 집계 (aggregation)를 통해 이를 완화합니다. 본 연구에서는 반대로 다국어 불일치가 상호 보완적인 평가 신호를 제공할 수 있음을 보여줍니다. 우리의 오라클 분석 (oracle analysis) 결과, 여러 언어에 걸쳐 판단을 샘플링하는 것이 단일 언어 판정보다 더 높은 성능 상한선 (upper bound)을 생성한다는 것을 발견했으며, 이는 서로 다른 언어들이 잠재적으로 상호 보완적인 판단을 포함하고 있음을 나타냅니다. 이러한 발견에 착안하여, 우리는 교차 언어적 불일치를 반복적인 개선 (iterative refinement)에 활용하는 자기 진화형 다국어 판사인 SEMJ를 제안합니다. SEMJ는 각 입력의 다국어 변형을 생성하고, 독립적인 판단과 근거 (rationales)를 수집하며, 불일치하는 출력을 자기 성찰 (self-reflection) 및 재평가 (re-evaluation)를 위해 다시 입력합니다. 여러 벤치마크에 대한 실험 결과, SEMJ는 정확도와 교차 언어적 일관성 모두에서 투표 및 성찰 베이스라인 (reflection baselines)을 지속적으로 능가함을 보여줍니다. 추가 분석을 통해 불일치가 유용한 재평가를 유도하며, 이것이 판단의 품질을 향상시킨다는 것을 확인했습니다.