YOMI-Bench: 일본어에 대한 LLM의 한자 읽기 및 음운 이해 능력을 평가하기 위한 벤치마크

요약

일본어 LLM의 한자 읽기 및 음운 이해 능력을 평가하기 위한 새로운 벤치마크인 YOMI-Bench를 제안합니다. 다양한 오픈 소스 및 상용 모델을 평가한 결과, 일본어 특화 모델과 상용 모델 모두 한자 읽기 관련 태스크에서 낮은 성능을 보였습니다.

핵심 포인트

• 일본어 한자의 다중 읽기 특성을 반영한 YOMI-Bench 제안
• 한자 읽기 및 음운 이해를 평가하는 4가지 특화 태스크 구성
• 일본어 특화 모델 및 상용 LLM의 한자 읽기 성능 한계 확인