LLM은 뱅골어 의료 시각 질의응답을 얼마나 잘 수행하는가? 데이터셋 및 벤치마킹

요약

본 연구는 뱅골어(Bangla)를 위한 의료 시각 질의응답(MedVQA) 벤치마크인 BanglaMedVQA 데이터셋을 새롭게 제안합니다. Gemini, GPT-4o mini, Gemma-3 등 주요 파운데이션 모델을 평가한 결과, 저자원 언어의 한계로 인해 전문적인 의료 추론 성능이 현저히 낮음을 확인했습니다.

핵심 포인트

• 뱅골어 특화 의료 시각 질의응답 데이터셋인 BanglaMedVQA를 최초로 소개함
• Gemini 및 GPT-4o mini와 같은 고성능 모델도 뱅골어 기반 전문 의료 진단에는 한계를 보임
• Gemma-3와 같은 오픈 소스 모델이 일반 범주에서는 우수한 성능을 보이기도 하나 복잡한 임상 질문에는 취약함
• 저자원 언어 환경에서 LLM/LVLM의 미세한 의료 추론 능력을 개선하기 위한 연구가 시급함