구축을 통한 검증 가능성: 임상 질문 답변에서 구절 인용에 대한 주장 수준 평가
요약
본 논문은 임상 질문 답변(QA) 시스템에서 LLM의 주장 검증 가능성을 평가했습니다. 기존 출처 방식의 비효율성을 개선하기 위해, 본 연구는 주장을 입증하는 세밀한 구절 인용을 제공하여 사용자가 즉시 검증할 수 있는 '구축 가능한' 응답 생성을 목표로 합니다. 12개 LLM에 대한 테스트 결과, 대부분 모델이 높은 비율의 인용구를 생성하지만, 이들이 주장 전체를 완전히 입증하지 못하는 격차가 확인되었습니다.
핵심 포인트
- LLMs의 임상 QA 시스템 적용 시 검증 가능성 확보가 핵심 과제입니다.
- 단순 출처 첨부를 넘어, 주장을 뒷받침하는 세밀한 구절 인용이 필요합니다.
- 대부분 모델은 높은 비율로 인용구를 생성하나, 주장 전체를 입증하는 능력은 낮습니다 (예: claude-opus-5의 37.1%).
- 본 연구는 검증 가능한 임상 QA 시스템 구축을 위한 LLM 역량 격차에 대한 통찰력을 제공합니다.
대규모 언어 모델(LLMs)은 임상 질문 답변(QA) 분야에서 광범위하게 채택되어 왔습니다. 현재 시스템들은 답변에 출처를 첨부할 수 있지만, 이 출처들이 종종 광범위한 텍스트를 가리키는 경우가 많아 시간이 부족한 임상의사들이 이를 효율적으로 검증하기 어렵습니다. 대안은 응답 자체가 '구축을 통해 검증 가능'하도록 보장하는 것입니다. 즉, 주장을 입증하는 참고 자료의 세밀한 구절 인용(verbatim quotes)을 제공하여 사용자가 다른 문서를 열어보지 않고도 답변을 검증할 수 있게 하는 것입니다. 본 논문에서는 현재 모델들이 이 작업을 종단 간(end-to-end)으로 수행하는 능력을 평가합니다. 이는 모든 사실적 주장에 대한 출처를 제공하는 것부터, 구절 인용을 생성하는 것, 그리고 그 인용이 주장을 완전히 입증하도록 보장하는 과정까지 포함합니다. 이를 위해 우리는 네 가지 임상 진료 지침(clinical practice guidelines)에 걸쳐 표준화된 하네스(harness)를 구축하고, 12개의 LLMs를 222개의 합성 임상 질문으로 평가하며, 이 각 단계를 개별적으로 측정했습니다. 그 결과, claude-haiku-4.5와 같은 일부 경량 모델을 제외하고 대부분의 모델이 프롬프팅만으로 자신들의 주장 중 90% 이상에 구절 인용을 첨부할 수 있다는 것을 발견했습니다. 하지만 이 인용구들은 종종 그것이 동반하는 주장의 모든 세부 사항을 입증하지 못합니다. 예를 들어, claude-opus-5는 자신의 주장 중 98.0%에 대해 구절 인용을 생성하지만, 완전히 입증하는 비율은 37.1%에 불과했습니다. 본 연구는 검증 가능한 임상 QA 시스템 구축에서 LLMs의 현재 역량 격차에 대한 통찰력을 제공하며, 향후 연구를 위한 결과물(artifacts)도 함께 제시합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기