이종 인지 및 생의학 지식 그래프에서의 대규모 언어 모델 벤치마킹: 다단계 추론 및 환각 완화에서 그래프 접지(Graph Grounding)의

대규모 언어 모델(LLMs)은 생의학 및 인지 신경과학 분야에서 사용이 증가하고 있지만, 이들이 이종 지식 그래프(KGs) 위에서 신뢰성 있게 추론할 수 있는 능력은 여전히 불분명합니다. 우리는 다섯 가지 LLM(GPT-5.1, Gemini 2.0 Pro, Llama 3, Qwen, BioGPT)을 다섯 가지 KG(DrugBank, NeuroSynth, Cognitive Atlas, Brain Map, GDPKG)에 걸쳐 벤치마킹했습니다. 우리는 KG 기반(graph-grounded) 조건과 KG 무관(KG-agnostic) 조건 하에서 추론 깊이와 사실적 정확도를 평가하기 위해 다단계 질의 데이터셋을 도입했습니다. 평가자 간 일치도는 코헨의 카파가 0.781 (범위: 0.753-0.807), 플리스의 카파가 0.77로 상당히 높았습니다. 결과에 따르면, 범용 모델(특히 GPT-5.1과 Gemini 2.0 Pro)이 다단계 및 고수준 추론 작업에서 도메인 특화 모델보다 전반적으로 우수한 성능을 보였으나, 질의 복잡도가 증가함에 따라 성능은 저하되었습니다. KG 접지(grounding)는 평가된 모든 모델에서 환각 발생률을 낮추었습니다. 초기 가설과는 달리, 도메인 특화 모델이 그래프 접지 없이 전문적인 작업에서 범용 모델보다 일관되게 우수하지는 않았습니다. 이러한 발견은 광범위한 언어 모델의 능력과 구조화된 도메인 지식을 결합하는 것의 가치를 강조합니다. 우리는 작업 복잡도와 계산 제약 조건에 따라 LLM-KG 통합 전략을 선택하기 위한 실질적인 지침을 제공하고, 개인 맞춤형 의학, 인지 장애 진단 및 설명 가능한 AI를 위한 하이브리드 신경기호학적 아키텍처(neurosymbolic architectures)에 대해 논의합니다.