실제 약물 승인의 핵심이 된 임상 시험에 대해 최상위 모델에게 물어보면, 모델은 확신에 차서 올바른 논문과 올바른 DOI를 제공할 것입니다. 제가 진행한 테스트 중 하나에서 GPT-5.5, Claude Sonnet 5, Claude Opus 4.8은 모두 ANCA 관련 혈관염(ANCA-associated vasculitis) 치료제인 아바코판(avacopan)에 대한 ADVOCATE 임상 시험을 인용했습니다. 정확한 논문이었고, 실제 DOI였으며, New England Journal of Medicine에 게재된 것이었습니다.

하지만 이 논문은 2026년에 철회(retracted)되었습니다. 어떤 모델도 이 사실을 언급하지 않았는데, 그 이유는 철회가 모델들의 학습 데이터 차단 시점(training cutoff) 이후에 발생했기 때문입니다. 모델들은 이를 알 방법이 없습니다. 더 똑똑한 모델이라 할지라도 알 수 없었을 것입니다.

이것이 제가 측정하고자 했던 실패 지점입니다. AI가 인용 문헌을 지어내는 것이 아니라, 이미 철회된 실제 권위 있는 논문을 확실한 증거로 인용하면서도 이를 감지하지 못한다는 점입니다. 그래서 저는 다른 모델에게 묻는 대신, 모든 인용을 실제 레지스트리(registries)와 대조하여 확인하는 도구를 만들었습니다.

구체적인 측정 방법

저는 12개의 프런티어(frontier) 및 프로덕션(production) 모델에게 과학적 질문에 답하고 문헌을 인용하도록 요청한 뒤, 모든 인용을 sourcecheck를 통해 검증했습니다. sourcecheck는 OpenAlex 및 Crossref와 대조하여 각 인용을 확인하고 Retraction Watch와 대조하여 출처의 무결성을 검증하는 오픈 소스 출처 무결성 게이트웨이(source-integrity gate)입니다.

저는 철회 관련 질문을 두 가지 유형으로 나누었습니다. 모든 모델의 학습 시점보다 앞선 유명한 과거의 철회 사례(STAP 줄기세포 논문, Surgisphere의 히드록시클로로퀸 연구)와, 모델들이 학습될 당시에는 평판이 좋고 인용 가능했으나 학습 차단 시점 이후인 2025년과 2026년에 철회된 저명한 논문들입니다.

그 대조 결과가 핵심입니다:

• 과거의 유명한 철회 사례의 경우, 모델들은 논문을 인용하면서 약 82%의 확률로 철회 사실을 스스로 표시했습니다. 모델들이 이를 학습한 것입니다.
• 차단 시점 이후의 철회 사례의 경우, 모델들은 **0%**의 확률로 이를 표시했습니다. 단 한 번도 없었습니다. 모델들은 철회된 논문들을 유효한 것으로 인용했으며, 이러한 실수 중 6건은 과거의 철회 사례는 정확히 짚어냈던 최상위 모델들로부터 발생했습니다.

registry(등록부)에는 학습 중단 시점(training cutoff)이 없기 때문에, sourcecheck는 신규 및 기존 사례를 포함한 이 모든 사례를 식별해냈습니다.

이것이 지속적인 문제인 이유

모델의 규모가 커질수록(scaling) DOI를 허위로 만들어내는 현상은 개선됩니다. 쉽고 유명한 인용문의 경우, 제 테스트 결과 최상위 모델들은 이미 조작(fabrication) 비율이 0에 가깝습니다. 하지만 아무리 규모를 키운다 해도, 모델은 학습이 완료된 이후에 발생한 철회(retraction) 사실을 알 수 없습니다. 이는 구조적인 문제입니다. "모델이 인용하는 것"과 "registry가 해당 논문의 폐기를 인지하는 것" 사이의 간극은 더 나은 모델을 만든다고 해서 좁혀지지 않습니다. 이 간극은 조회(lookup)를 통해서만 좁혀질 수 있습니다.

대부분의 데모(demo)가 이를 놓치는 이유는, 데모는 모델이 이미 알고 있는 것에 대해 질문하기 때문입니다. 따라서 검증 계층(verification layer)이 필요합니다.

조작은 여전히 실재하며, 프런티어(frontier) 모델이 보여주는 것보다 심각하다

존재 여부 확인, 즉 이 DOI가 실제로 존재하는 논문으로 연결되는지 확인하는 것이 나머지 절반의 과정입니다. 유명한 고전 논문의 경우 최상위 모델들은 거의 조작하지 않습니다. 하지만 잘 알려지지 않은 경로로 벗어나면 조작률이 상승합니다. 저의 2025년 조사 결과 질문들에서 조작률은 대략 두 배로 증가했으며, 여전히 널리 배포되고 있는 구형 소형 모델은 DOI의 거의 절반을 조작했습니다. 대부분의 프로덕션 시스템(production systems)은 모든 호출에 프런티어 플래그십(frontier flagship) 모델을 사용하지 않습니다. 대신 조작률이 두 자릿수에 달하는 미드티어(mid-tier) 모델을 사용합니다.

모든 기록을 직접 확인할 수 있습니다

대화형 플레이그라운드(interactive playground)가 준비되어 있습니다. 모델을 선택하고 질문을 선택하여, sourcecheck의 판정 결과와 함께 각 인용문을 확인해 보세요. DOI가 아무것도 찾을 수 없을 때는 취소선이 그어지고, 논문은 실재하지만 철회된 경우에는 황색 깃발(amber flag)이 표시되며, 학습 중단 시점 이후의 사례에 대해서는 모델이 알 방법이 없었다는 메모가 표시됩니다. 가짜 데이터는 없습니다. 모든 인용문은 실시간으로 조회되었습니다.

이것이 무엇인지, 그리고 무엇이 아닌지

sourcecheck는 주장이 **진실(true)**인지 여부가 아니라, **출처가 있는지(sourced)**를 확인합니다. 이 도구는 권위 있는 출처를 바탕으로 세 가지 사항을 검증합니다: 인용이 존재하는지, 철회(retracted)되지 않았는지, 그리고 (실험적으로) 해당 주장이 인용문 안에 포함되어 있는지입니다. 이것은 진실 여부를 판결하지 않습니다. 이러한 좁은 범위가 바로 핵심인데, 왜냐하면 이 세 가지 검증이야말로 언어 모델(Language Model)이 스스로 할 수 없는 작업이기 때문입니다. 언어 모델은 DOI를 환각(hallucinate)하며, 학습 데이터 컷오프(cutoff) 이후의 철회 사실은 알 수 없습니다.

공정성을 위한 참고 사항: 조작률(fabrication rate)은 순위로 매겨지며, 철회 결과는 모델별 페널티가 아닌 안전성 발견(safety finding)으로 간주됩니다. 왜냐하면 비록 철회되었더라도 올바른 논문을 인용하는 것이 질문에 대한 정답인 경우가 많기 때문입니다. 여기서 가치는 모델이 스스로 띄울 수 없었던 '경고(flag)' 그 자체에 있습니다.

만약 의료, 법률 또는 과학 자료에 대해 AI가 출처를 인용하도록 하는 무언가를 구축하고 있다면, 이것은 데모에서는 나타나지 않지만 실제 서비스(production) 환경에서는 반드시 나타나는 실패 모드(failure mode)입니다. 대시보드는 mikias.io/citations에서 확인할 수 있으며, 라이브러리는 github.com/aberaio/sourcecheck에서 오픈 소스로 제공됩니다. 또한 모든 실행 결과는 인용별 전체 감사(audit) 내용을 공개합니다.