MHGraphBench: 지식 그래프 기반 대규모 언어 모델의 정신 건강 지식 벤치마킹

요약

MHGraphBench는 대규모 언어 모델(LLMs)이 정신 건강 관련 생물 의학 지식을 얼마나 정확하게 파악하고 구조화된 판단을 내릴 수 있는지 평가하기 위한 지식 그래프(KG) 기반 벤치마크입니다. PrimeKG를 활용하여 개체명 인식, 관계 판단, 2-홉 추론 등 9개의 태스크 패밀리를 통해 모델의 능력을 검증합니다. 실험 결과, 모델들이 개체 분류에는 능숙하지만 복잡한 관계 예측과 추론에는 여전히 한계가 있음이 드러났습니다.

핵심 포인트

• PrimeKG를 기반으로 정신 건강 분야의 개체명 인식, 관계 판단, 2-홉 추론을 평가하는 벤치마크 제시
• LLM 모델들 사이에서 개체 인식 능력과 실제 판단 능력 간의 격차(recognition-to-judgment gap) 확인
• 선도적인 모델들도 관계 예측 및 2-홉 추론 작업에서는 성능 저하를 보임
• 출력 형식의 신뢰성이 벤치마크 성능 측정에 결정적인 영향을 미침을 강조