라틴어-영어 이중 언어 QA 벤치마크 'RespondeoQA' 공개

RespondeoQA: 이중 언어 QA 및 번역 평가를 위한 새로운 기준

본 연구에서는 라틴어와 영어라는 두 가지 언어를 결합한 질문 답변(Question Answering, QA) 및 번역 능력을 측정하기 위한 벤치마크 데이터셋인 'RespondeoQA'를 소개합니다. 이 데이터셋은 약 7,800개의 질문-답변 쌍을 포함하고 있으며, 그 출처는 1800년대부터 현재까지의 라틴어 교육 자료(예: 시험지, 퀴즈볼 스타일의 상식 문제, 교과서)에서 가져왔습니다.

데이터셋의 특징 및 구성 요소

RespondeoQA가 기존 QA 벤치마크와 차별화되는 지점은 그 전문성과 언어적 복잡성입니다. 이 데이터셋은 단순한 사실 확인을 넘어 다음과 같은 매우 다양한 유형의 질문들을 포괄합니다:

1. 지식 기반 및 기술 기반 질문 (Knowledge- and skill-based): 특정 개념이나 문법 규칙에 대한 지식을 요구하는 기본적인 QA 형태입니다.
2. 다단계 추론 (Multihop Reasoning): 여러 단계의 정보 연결과 논리적 사고를 거쳐야만 답을 도출할 수 있는 고난도 문제입니다.
3. 제약 번역 (Constrained Translation): 단순한 언어 간 번역을 넘어, 특정 문맥이나 제약을 만족시키면서 번역해야 하는 복합적인 능력을 측정합니다.
4. 혼합 언어 쌍 (Mixed Language Pairs): 라틴어와 영어가 혼재된 독특한 환경에서 질문과 답변이 이루어집니다.

이는 학계에 알려진 바에 따르면, 라틴어 중심의 QA 벤치마크로는 최초로 구축된 자료입니다. 이 데이터셋은 언어학적, 문화적으로 특화된 영역에서 모델의 실제 능력을 평가하는 데 중요한 자원이 됩니다.

대규모 언어 모델(LLM) 성능 분석 (Case Study)

저희는 RespondeoQA를 활용하여 LLaMa 3, Qwen QwQ, 그리고 OpenAI의 o3-mini와 같은 세 가지 최신 LLM을 평가했습니다. 전반적인 결과는 다음과 같습니다:

• 기술 중심 질문에서의 취약점: 모든 모델들이 기술(skill)-지향적 질문 유형에서 낮은 성능을 보였습니다. 이는 단순히 지식을 검색하는 것을 넘어, 특정 언어 구조나 문법 규칙에 대한 깊은 이해가 필요함을 시사합니다.
• 추론 및 문학 장치 과제: 추론 능력을 요구하는 스캔션(scansion)이나 문학적 장치(literary-device)와 관련된 과제에서는 모델들이 비교적 나은 성능을 보였습니다. 하지만 이러한 개선 폭 역시 전반적인 성능 향상으로 이어지지는 못했습니다.
• 모델별 특성: Qwen QwQ가 라틴어로 질문된 경우에 약간 더 우수한 성능을 나타냈습니다. 반면, LLaMa 3와 o3-mini는 특정 과제 유형에 따라 성능이 크게 달라지는(task dependent) 경향을 보였습니다.

결론 및 활용 방안

RespondeoQA 데이터셋은 모델들이 전문적이고 문화적으로 특화된 언어 영역에서 어떤 능력을 갖추고 있는지 평가할 수 있는 새로운 기준점을 제공합니다. 또한, 이 데이터셋의 구축 과정은 다른 언어로도 쉽게 적응하여 적용할 수 있다는 장점이 있습니다. 연구자들은 이를 활용하여 LLM의 다중 언어 처리 능력과 고차원적 추론 능력을 검증하는 데 사용할 수 있습니다.

데이터셋 접근: https://github.com/slanglab/RespondeoQA