TeluguMixBench: 텔루구어 및 텔루구어-영어 코드 혼합 작업에 대한 LLM 평가

제가 벤치마크한 내용

거대 언어 모델(LLMs)이 텔루구어와 텔루구어-영어 코드 혼합 프롬프트를 신뢰성 있게 이해할 수 있을까요?

이를 탐색하기 위해, 저는 다섯 가지 범주에 걸쳐 20개의 테스트 케이스를 포함하는 작은 벤치마크인 TeluguMixBench를 만들었습니다:

• 독해 (Reading comprehension): 텔루구어 지문을 이해하고 질문에 답하기.
• 추론 (Reasoning): 텔루구어로 표현된 간단한 문제 해결.
• 번역 (Translation): 텔루구어 문장을 영어로 번역하기.
• 코드 혼합 이해 (Code-mixed understanding): 텔루구어와 영어를 결합한 프롬프트 처리.
• 지시 사항 준수 (Instruction following): 지정된 개수의 점수를 제공하거나 요청된 언어로 답변하는 등의 제약 조건 따르기.

저는 다국어 AI 평가가 단순히 널리 사용되는 언어뿐만 아니라 지역 언어와 사람들이 일상 대화에서 자연스럽게 언어를 혼합하는 방식까지 고려해야 한다고 생각했기 때문에 이 문제를 선택했습니다.

테스트 모델

저는 Kaggle Benchmarks를 사용하여 TeluguMixBench로 모델들을 평가했습니다.

리더보드에는 다음 모델들이 포함되었습니다:

• Claude Opus 4.5
• Claude Haiku 4.5
• Claude Haiku 5.5
• Gemini 3.7 Flash

저는 서로 다른 제공업체의 모델들이 동일한 언어 작업 세트에서 어떻게 성능을 발휘하는지, 그리고 그 점수들이 어떻게 비교되는지 탐색하고 싶었습니다.

발견 사항

초기 리더보드는 다음과 같은 점수를 보여주었습니다:

이 결과들은 흥미로운 출발점이지만, 신중하게 해석되어야 합니다.

현재 이 벤치마크는 단지 20개의 예시만을 포함하고 있으며, 일부 평가 항목은 의미에 대한 완전한 평가라기보다는 예상 답변 일치 여부에 의존합니다. 따라서 모델이 완전히 정확한 답변을 제공하지 않더라도 예상 키워드를 포함할 수 있습니다. 그러므로 만점이라고 해서 모델이 다양한 맥락에서 텔루구어를 신뢰성 있게 이해한다고 단정할 수는 없습니다.

제가 얻은 주요 결론은 평가 방법의 질이 그 방법이 산출하는 점수만큼 중요하다는 것입니다. 유용한 다음 단계로는 데이터셋을 확장하고, 의미론적 평가를 개선하며, 더 다양한 텔루구어-영어 프롬프트를 테스트하고, 잘못된 응답들을 개별적으로 검토하는 것이 있습니다.

나의 벤치마크

Kaggle에서 TeluguMixBench 탐색하기:

[https://www.kaggle.com/benchmarks/poojithasaranya/telugumixbench/leaderboard]

이 벤치마크는 지역 언어 및 코드 혼합(code-mixed) 능력을 보다 체계적으로 평가하기 위한 초기 단계입니다. 저는 향후 반복 작업에서 그 커버리지와 채점 방법론을 개선할 수 있기를 바랍니다.