지식 그래프 그라운딩은 학습 외 지식(Out-of-Training Knowledge)에 대해서만 LLM에 도움이 된다: 임상 질의응답에 관한

최근 Nature Medicine 연구에 따르면, 범용 프런티어 LLM(frontier LLMs)이 의료 벤치마크에서 특화된 검색 증강(retrieval-augmented) 임상 도구보다 성능이 뛰어나며, 검색이 강력한 모델의 성능을 저해할 수 있다고 보고했습니다. 우리는 자연스러운 후속 질문을 던집니다: 구조화된 지식 그래프 (KG) 그라운딩 (grounding)이 이를 변화시킬 수 있는가, 그리고 그라운딩이 도움이 되는 시점은 언제인가? 우리는 두 가지 결과를 제시합니다. 첫째, 재현 연구입니다: 해당 연구의 헤드라인인 HealthBench 점수(~88)는 전체 HealthBench가 아닌 Consensus 변형 버전이며, 의사 보정 채점자(physician-calibrated grader, 일치도 82.5%) 하에서 프런티어 모델과 이상적인 완성본(ideal completions) 모두 ~46-47점을 기록합니다. 우리는 GPT-5.2 Consensus = 90.9를 재현하였으며, 점수를 낮추는 채점자 버그를 발견했습니다. 둘째, 지식 경계(knowledge-boundary) 결과입니다. 공개 생물 의학 KG인 PrimeKG 상에서 그래프+벡터 엔진(samyama-graph)을 사용했을 때, 단순 트리플 검색(naive triple retrieval)이나 에이전트 방식의 자연어-to-Cypher 루프(82% 쿼리 성공률) 모두 약한 모델에서 강한 모델로 이어지는 사다리(weak-to-strong model ladder) 전반에서 MedQA 성능을 개선하지 못했습니다 (모든 |Delta| <= 3.4). 반면, 합성 반사실적 KG(synthetic counterfactual KG)와 기지 사실(known facts) 및 신규 사실(novel facts)이 혼합된 하이브리드 벤치마크에서는 동일한 파이프라인이 학습 외(out-of-training) 정확도를 우연 수준에서 ~100%로(+68에서 +79로) 끌어올린 반면, 기지 사실에 대해서는 아무런 도움을 주지 못했습니다 (LLM이 없는 대조군도 두 경우 모두 답변 가능). 세 가지 체제(지식 없음, 그래프 보조, 하이브리드)에 걸쳐, 그라운딩은 결정적인 사실이 모델의 학습 범위 밖에 있는 경우에만 도움이 됩니다. 즉, 공개 KG 사실은 중복적이며, 비공개 및 신규 데이터가 실질적인 이득을 주는 지점입니다. 이는 해당 연구의 기관 데이터(institutional-data) 관련 주의사항과 일치합니다.