연구 출처 추적만으로는 충분하지 않다: LLM 기반 의료 검증에서 동일 임상 시험 증거 과대 신용 부여 문제

요약

LLM이 개별 출처를 인식하는 능력과 여러 증거를 취합하여 검증하는 과정 사이에 행동적 격차가 존재함을 보여줍니다. 특히, 같은 임상 시험의 여러 출판물을 독립적인 근거로 과대 신용(over-credit)하는 경향을 발견했습니다. '연구 그룹화' 지침을 통해 이 문제를 상당 부분 개선할 수 있음을 제시합니다.

핵심 포인트

• LLM은 개별 출처 인식과 증거 취합 과정에서 차이를 보임.
• 같은 임상 시험의 여러 보고서를 독립적인 근거로 과대 신용하는 경향이 있음.
• GPT-5.5는 초기 테스트에서 과대 신용 문제를 보였으나, '연구 그룹화' 지침으로 개선됨.
• 출처(provenance) 추적은 LLM 의료 검증의 중요한 평가 영역임.