SemEval-2026 Task 8 우승 시스템 소개: Judge-Orchestrated LLM 앙상블을 활용한 충실한 다중 턴 응답 생성

요약

본 기사는 SemEval-2026 Task 8 (MTRAGEval)에서 우승한 'Judge-Orchestrated LLM 앙상블' 시스템을 소개합니다. 이 시스템은 GPT-4o-mini 판사를 활용하여 최적의 후보를 선택하는 두 가지 프롬프트 변형이 포함된 총 7개의 이종(heterogeneous) LLM으로 구성되어 있습니다. 이를 통해 26개 팀 중 1위를 차지하며 강력한 성능을 입증했습니다. 또한, 비용 효율적이면서도 강력한 7B 도메인 적응 모델인 Meno-Lite-0.1을 제시하고, MTRAGEval의 분석을 통해 주석(annotation)의 한계와 향후 개선 방향을 논의합니다.

핵심 포인트

• SemEval-2026 Task 8 (MTRAGEval)에서 GPT-4o-mini 판사를 활용한 이종 LLM 앙상블 시스템으로 우승함.
• 시스템은 총 7개의 다양한 LLM과 두 가지 프롬프트 변형을 결합하여 단일 모델의 성능을 능가하는 시너지를 창출함.
• Ablation Study를 통해 모델 계열, 규모, 그리고 프롬프트 전략의 다양성이 성공적인 앙상블에 필수적임을 입증함.
• 비용 효율성을 고려한 7B 도메인 적응 모델 'Meno-Lite-0.1'을 제시하여 실용적인 대안을 제공함.