CNSL-bench: 중국 국가 수어 이해 능력을 가진 MLLM 평가 벤치마크

요약

본 기술 기사는 대규모 언어 모델(LLM)의 수어 이해 능력을 평가하기 위해 중국 국가 공통 수어 사전 기반의 포괄적인 벤치마크인 CNSL-bench를 소개합니다. 이 벤치마크는 정렬된 텍스트, 이미지, 비디오 등 다중 모달리티와 발음 다양성을 포함하여 수어 이해에 대한 일관되고 세밀한 평가 환경을 제공합니다. 연구 결과, 최신 MLLM들은 여전히 인간의 성능에 비해 현저히 부족하며, 입력 모달리티나 특정 수동 발음 형태에 따라 모델 간 성능 편차가 크다는 것을 입증했습니다.

핵심 포인트

• CNSL-bench는 중국 국가 공통 수어 사전을 기반으로 하여 평가의 일관성과 권위를 확보한 최초의 포괄적인 MLLM 벤치마크이다.
• 이 벤치마크는 텍스트, 이미지, 비디오 등 다중 모달리티와 손가락 철자 같은 다양한 수동 발음 형태를 지원하여 깊이 있는 평가가 가능하다.
• 최신 MLLM들을 광범위하게 테스트한 결과, 현재 모델들은 인간의 수어 이해 능력에 비해 성능이 현저히 낮다.
• 모델별로 입력 모달리티나 특정 수동 발음 형태에 따라 성능 편차가 크며, 명령 따르기(instruction-following) 강건성에도 개선할 여지가 많음을 보여준다.