평균을 넘어 문화적 정렬 측정: 인도 맥락에서의 모성 건강 LLM 상호작용 평가 프레임워크

요약

본 논문은 기존 LLM 평가가 놓치던 문화적 맥락을 반영하여, 인도 북부 지역의 모성 건강 상호작용에 특화된 'MH-INDIC' 평가 프레임워크를 제안합니다. 이 프레임워크는 10가지 차원의 추론을 구체화하고, LLM이 인구 수준의 문화적 정렬과 개별 프로필 기반 변이를 얼마나 잘 반영하는지 분석했습니다.

핵심 포인트

• MH-INDIC: 인도 북부 모성 건강에 특화된 평가 프레임워크 제시
• LLM은 전체적인 정렬은 높으나, 개인 프로필 민감도에서 인간보다 낮은 변동성을 보임
• 인간 기반 조건화(human-grounded prompting)가 대화 품질과 문화적 근거를 개선함
• 문화적 맥락을 반영한 LLM 평가는 헬스케어 분야에 필수적임