프롬프팅 전략 효과는 심사 모델에 따라 달라진다: LLM-as-a-Judge의 다국어 강건성 연구

요약

본 연구는 다국어 환경에서 LLM-as-a-Judge 평가의 프롬프팅 전략 효과를 심층적으로 분석했습니다. 그 결과, 프롬프팅 전략의 효과가 보편적이지 않으며, 심사 모델(judge model), 작업 유형, 그리고 언어에 따라 크게 달라진다는 것을 발견했습니다. 따라서 다국어 평가에서는 모든 요소를 종합적으로 고려한 검증이 필수적입니다.

핵심 포인트

• 프롬프팅 전략의 효과는 전이 가능하지 않으며 모델 의존성이 높다.
• 심사 모델의 선택이 어떤 프롬프팅 전략을 사용할지 결정한다.
• 전략 효과는 심사 모델에 따라 방향이 반전될 수 있다.
• 저자원 언어에서는 집계 보고로 인해 안정성이 저하된다.