MADE: 미세한 평가 통찰력을 위한 다국어 에이전트 진단 엔진을 통한 점수 산출 그 이상의 가치

다국어 및 다문화 벤치마크 (Benchmarks)가 이제 수십 개의 언어와 모델 제품군을 아우르고 있지만, 그 결과로 나타나는 점수 지형은 지표는 풍부하나 통찰력은 부족한 상태로 남아 있어, 미세한 다국어 사후 평가 진단 (Post-evaluation diagnosis)이 필수적입니다. 그러나 단일 LLM (Large Language Models) 및 개방형 에이전트 (Open-ended agents)는 길고 노이즈가 많은 진단 입력값에 쉽게 압도되며, 이를 위한 재사용 가능한 분류 체계 (Taxonomy)도 존재하지 않습니다. 이를 해결하기 위해, 우리는 사후 평가 분석을 계획 (Planning), 종합 분석 (Aggregate analysis), 인스턴스 수준의 사례 조사 (Instance-level case inspection), 다국어 및 문화적 성찰 (Multilingual and cultural reflection), 그리고 근거 기반 보고서 합성 (Grounded report synthesis)으로 분해하는 다국어 에이전트 진단 엔진 (Multilingual Agentic Diagnosing Engine)인 MADE를 제안합니다. MADE는 전문가가 주도한 54개 질의 및 15개 언어 진단 세트와 결합되었으며, 대규모 다국어 평가 기질 (Multilingual evaluation substrate; 33개 모델 제품군, 11개 벤치마크, 26개 언어, 34개 문화, 866만 개의 평가 기록) 위에서 평가되었습니다. 실험 결과, MADE는 진단 보고서 품질 면에서 가장 강력한 공유 베이스라인 (Shared baseline)보다 47% 더 우수한 성능을 보였으며, 쌍체 비교 (Pairwise comparisons)에서 다국어 전문가들로부터 87.9%의 선호도를 얻었습니다. 다국어 전문가와 함께 적용했을 때, MADE는 배포, 반복, 그리고 교차 문화적 함정에 관한 네 가지 실행 가능한 발견 사항을 추가로 도출하여, 벤치마크 점수 표를 모델 선택 및 교정 가이드로 전환합니다.