AI 보조 문헌 검토 (literature review) 과정에서 겪는 대부분의 나쁜 경험은 이를 하나의 작업으로 취급하는 데서 비롯됩니다. 이는 세 가지 작업이며, 각각 서로 다른 방식으로 실패합니다. 그리고 그중 정확히 하나만이 거의 전적으로 AI에게 맡겨도 안전합니다.

하나의 작업이 아닌 세 가지 작업

**검색 (Search)**은 후보 문헌을 찾는 것입니다. 중요한 지표는 재현율 (recall) — 즉, 당신이 찾은 관련 연구의 비율 — 이며, 당신이 관찰할 수 없는 것은 당신이 놓친 것들입니다. **선별 (Screening)**은 어떤 후보가 관련이 있는지 결정하는 것입니다. 지표는 신중한 인간과의 일치도이며, 샘플링하여 확인할 수 있기 때문에 오류가 눈에 보입니다. **추출 (Extraction)**은 포함된 논문들을 읽고 그들이 실제로 주장하는 바를 뽑아내는 것입니다. 여기서의 실패는 미묘하고 위험합니다. 즉, 논문이 말하지 않은 내용을 그럴듯하게 의역하는 것입니다.

이 세 가지를 하나의 채팅창에서 모두 실행하면, 각 작업의 최악의 특성들인 감사 불가능한 재현율 (recall), 확인되지 않은 포함 결정, 그리고 추적 가능한 출처가 없는 주장들을 얻게 됩니다. 이를 분리하면 각각 관리 가능한 수준이 됩니다.

또한 당신이 어떤 종류의 검토를 수행하고 있는지가 매우 중요합니다. 왜냐하면 재현율 (recall) 실패에 대한 허용치가 서로 다르기 때문입니다. 익숙하지 않은 분야에서 방향을 잡기 위한 범위 설정적 읽기 (scoping read)는 많은 것을 놓치더라도 여전히 제 역할을 할 수 있습니다. 당신은 지도를 만들고 있는 것이며, 진행하면서 지도를 수정해 나갈 것이기 때문입니다. 하지만 체계적 문헌 고찰 (systematic review)은 그럴 수 없습니다. 이 방식의 핵심 주장은 명시된 기준을 충족하는 모든 것을 찾아냈다는 것이므로, 특정 연구 범주를 조용히 누락하는 검색은 단순히 조금 약한 검토를 만드는 것이 아니라, 실제 결과와 정반대일 수 있는 결론을 도출하게 됩니다. 무엇을 위임할지 결정하기 전에 당신이 어떤 검토를 하고 있는지 결정하십시오. 왜냐하면 동일한 도구라도 한 방식에는 적절하지만 다른 방식에는 부적합할 수 있기 때문입니다.

검색: 재현율 (recall)을 위임하지 마세요

언어 모델 (Language model)은 문헌 인덱스 (index)를 가지고 있지 않습니다. 만약 모델이 자신의 가중치 (weights)로부터 답변을 생성한다면, 인용 (citations)은 생성된 텍스트일 뿐이며 그럴듯한 가짜 참고문헌 (plausible fake references)을 만들어내는 것과 동일한 과정을 거치게 됩니다. 즉, 실제 같은 저자, 실제 저널, 해당 분야의 논문처럼 보이는 제목을 제시하지만, 실제로는 존재하지 않는 논문인 경우입니다. 검색 기반 도구 (Retrieval-backed tools)는 참고문헌이 실제로 존재하기 때문에 더 낫지만, 또 다른 문제를 야기합니다. 시맨틱 검색 (semantic search)은 쿼리 (query)와 유사한 것을 반환할 뿐이며, 검색 결과에 포함되지 않은 것이 무엇인지 규정할 방법이 없기 때문입니다.

방어 가능해야 (defensible) 하는 모든 작업의 경우, 검색 자체는 작성된 쿼리 — 불리언 표현식 (boolean expression), 데이터베이스 집합, 날짜 범위, 그리고 검색된 레코드 수 — 와 함께 서지 데이터베이스 (bibliographic database) 내에서 이루어져야 합니다. 그래야만 재현 (reproducible)이 가능합니다. 즉, 누군가가 이를 다시 실행하여 동일한 데이터 세트를 얻을 수 있어야 합니다. 체계적 문헌 고찰 (systematic reviews)의 보고 표준 (reporting standards)은 정확히 이것을 요구하며, 이러한 요구 사항은 근본적인 문제가 새로운 것이 아니기에 AI가 등장하기 수십 년 전부터 존재해 왔습니다.

이 단계에서 모델이 도움을 줄 수 있는 부분은 쿼리를 대체하는 것이 아니라 쿼리를 구축하는 것입니다. 즉, 유의어 및 철자 변형을 생성하고, 주제 표제어 (subject headings)를 제안하며, 참고문헌 목록과 인용 논문을 수동으로 추적할 수 있는 몇 가지 시드 논문 (seed papers)을 찾는 것입니다. 도구가 찾아낸 논문은 데이터베이스에서 확인해야 할 단서 (lead)로 취급해야 하며, 결코 최종 결과 (result)로 취급해서는 안 됩니다.

스크리닝 (Screening): 제대로 작동하는 부분

제목 및 초록 스크리닝 (Title-and-abstract screening)은 반복적이고, 명확하게 규정되어 있으며, 문헌 고찰에서 가장 지루한 부분입니다. 또한 이 단계는 위임 (delegation)이 방어 가능한 유일한 단계이기도 한데, 위임의 정도를 측정할 수 있기 때문입니다.

설정 방법

• 포함 기준 (inclusion criteria)을 먼저 규칙으로서 작성하세요. 만약 모델에게 충분히 정밀하게 설명할 수 없다면, 그것은 두 번째 인간 검토자에게도 충분히 정밀하지 않다는 뜻이며, 이는 초기에 발견하면 매우 유용한 사실입니다.
• 모델이 포함 (inclusion) 쪽으로 편향되도록 하세요. 잘못된 포함 (false include)은 초록 하나를 검토하는 시간적 비용을 발생시킵니다. 반면 잘못된 제외 (false exclude)는 리뷰에서 논문을 소리 없이 제거하며, 아무도 이를 알 수 없습니다.
• 먼저 라벨링된 샘플 (labelled sample)을 직접 스크리닝하세요. 직접 결정한 수백 개의 레코드는 일치율 (agreement rate)을 제공하며, 일치율은 보고할 수 있는 지표가 됩니다.
• 포함된 것뿐만 아니라 제외된 것들도 감사 (audit)하세요. 거절된 더미에서 샘플을 뽑아 읽어보세요. 이것이 비용이 많이 드는 오류가 드러나는 유일한 지점입니다.
• 각 결정에 대해 이유를 요청하세요. 명시된 이유가 계산 과정을 충실히 설명하기 때문이 아니라 (그렇지 않기 때문입니다), 백 개의 이유를 읽는 것이 백 개의 판결을 읽는 것보다 체계적으로 잘못 읽힌 기준을 더 빠르게 드러내기 때문입니다.

추출 (Extraction): 요약이 아닌 인용 (quotes)

대부분의 위험을 제거하는 규칙은 간단합니다. 원문 그대로의 인용구 (verbatim quote)와 위치가 함께 제공되지 않는 한, 논문에 대한 어떤 주장도 당신의 노트에 기록되지 않도록 하는 것입니다. 문장, 섹션, 그리고 페이지 또는 그림을 요청하세요. 인용구가 뒷받침되지 않은 요약은 모델이 작성한 문장일 뿐이며, 일단 노트에 들어가면 논문이 작성한 문장과 동일해 보입니다.

이는 또한 보이지 않는 실패를 기계적인 실패로 전환합니다. "이 요약이 논문을 공정하게 대변하는가"를 확인하는 것은 전문가적 판단입니다. 반면 "이 문자열이 이 PDF에 존재하는가"를 확인하는 것은 검색이며, 추출된 모든 주장에 대해 몇 초 만에 수행할 수 있습니다.

모델이 두 가지 모두 과소 보고하기 때문에 의도적으로 추출해야 할 구체적인 사항이 두 가지 있습니다. 바로 표본 크기 (sample size) 및 모집단 (population), 그리고 논문 스스로가 언급하는 한계점 (limitations)입니다. 결과 요약을 요청받은 모델은 결과를 요약할 것이며, 한계점 섹션은 보통 해당 논문을 인용하지 말아야 할 이유가 담겨 있는 곳입니다.

검증 단계, 순서대로

기록해야 할 사항

모델을 어떤 용도로 사용했든, 어떤 모델을, 어떤 버전을, 몇 월 며칠에 사용했는지, 그리고 무엇을 질문했는지 기록하십시오. 이는 단 한 단락의 분량이지만, 누군가가 평가할 수 있는 방법론과 재현 불가능한 방법론을 가르는 차이를 만듭니다. 이 점은 AI 보조 작업의 재현성 (the reproducibility of AI-assisted work)에서 자세히 다루고 있습니다. 현재 대부분의 학술지와 연구 지원 기관은 생성형 AI (Generative AI) 사용 공개를 요구하고 있으므로, 어차피 해당 단락이 필요하게 될 것입니다. 작업 중에 기록하는 것이 나중에 다시 재구성하는 것보다 훨씬 쉽습니다.

관련 자료

• AI 생성 논문과 학술지 무결성 (AI-Generated Papers and Journal Integrity)
• LLM을 활용한 데이터 분석: 한계점 (Data Analysis With LLMs: Where It Breaks)
• AI 보조 과학의 재현성: 새로운 실패 모드 (Reproducibility of AI-Assisted Science: The New Failure Modes)