AI 연구 보고서의 5가지 체계적 실패 모드 (및 이를 포착하는 방법)

AI 연구 보고서는 권위 있어 보입니다. 숫자들은 맞아떨어지고, 차트는 깔끔하며, 모든 주장에는 출처 인용이 붙어 있습니다.
하지만 실제로 그 출처들을 열어보면, 상황은 무너져 내립니다.

수십 개의 AI 생성 연구 보고서를 분석한 결과, LLM(Large Language Models)은 대규모 연구를 수행할 때 무작위로 실패하지 않는다는 것을 발견했습니다. 이들은 5가지의 예측 가능하고 반복 가능한 방식으로 실패하며, 일단 그 패턴을 알게 되면 체계적으로 이를 잡아낼 수 있습니다.

실패 모드 #1: 단위 및 규모 오류 (최우선 순위)
발생 상황: 단위 오해로 인해 숫자에 0이 붙거나 사라집니다.
보고서에는 "매출이 $4,200B였습니다"라고 적혀 있습니다. 하지만 출처에는 $4.2B라고 되어 있습니다. 출처를 읽고 보고서를 쓰는 과정 어딘가에서 AI가 단위 변환을 놓친 것입니다.
이는 교차 언어 연구(cross-language research)에서 매우 흔하게 발생합니다:
중국어 "亿" (1억) vs "billion" (10억) — 10배 차이
"万" (10,000)이 완전히 누락됨 — 10,000배 차이
차트의 축 레이블(Axis label)을 잘못 읽음 — $4.2B → $4,200B

포착 방법: 모든 재무 수치에 대해 원본 출처를 추적하여 단위를 확인하십시오. 건전성 검사(Sanity check): 해당 기업의 알려진 규모를 고려할 때 이 숫자가 말이 되는가? 매출이 $50B인 스타트업이 있다면 Fortune 100 기업일 것입니다. 이는 거의 확실히 잘못된 것입니다.

실패 모드 #2: 조작된 보간 (Fabricated Interpolation)
발생 상황: 정확한 데이터를 사용할 수 없을 때, AI가 빈틈을 채워 넣습니다.
당신의 보고서가 깔끔한 6년치 매출 추세를 보여준다고 가정해 봅시다:
연도 매출
2019 $0.9B
2020 $1.4B
2021 $1.9B
2022 $2.4B
2023 $3.1B
2024 $4.2B
보기에는 아주 좋습니다. 하지만 FY2024에만 인용된 출처가 있습니다. 나머지 5개 지점은요? AI가 매끄러운 곡선을 보간(interpolate)한 것입니다.
실제 재무 데이터에는 노이즈, 인수 합병, 환율 효과가 존재합니다. 완벽하게 매끄러운 추세선은 위험 신호(red flag)입니다.

포착 방법: 모든 데이터 시리즈에 대해 다음과 같이 질문하십시오: "각 데이터 포인트가 출처에서 명시적으로 발견되었는가, 아니면 유도된 것인가?" 총계와 구성 요소를 비교하십시오. 하위 항목들의 합이 보고된 총계와 실제로 일치합니까?

실패 모드 #3: 출처 혼동 (Source Conflation)
현상: 서로 다른 출처에서 나온 서로 다른 지표들이 마치 동일한 것을 측정하는 것처럼 병합됩니다.
"Acme 앱이 12억 달러의 매출(revenue)을 창출했다" — 하지만 실제 출처는 매출이 아닌 마켓플레이스 GMV (Gross Merchandise Value, 총 상품 판매액)를 설명하고 있었습니다. 마켓플레이스 비즈니스의 경우, GMV는 일반적으로 매출의 5~20배에 달합니다.
제가 목격한 다른 사례들:
"화장품 무역" (수출 + 수입)을 "화장품 수출"로 인용
"애널리스트 컨센서스 (Analyst consensus)"를 "공시 수치 (filed figures)"로 취급
"소매 판매 (Retail sales)"를 "도매 매출 (wholesale revenue)"와 혼동

포착 방법: 인용된 모든 수치에 대해, 출처가 동일한 정의와 지리적 범위(geographic scope)를 가진 동일한 지표 명칭을 명시적으로 사용하고 있는지 확인하십시오.

실패 모드 #4: 최신 데이터로 오인된 오래된 데이터 (Stale Data as Current)
현상: 이전 기간의 데이터가 최신 데이터로 제시되거나, 예측치(forecasts)가 실제 결과(actual results)로 제시됩니다.
2026년의 보고서가 2025년 2월에 발행된 출처의 "2025년 매출"을 인용합니다 — 이는 회계 연도가 끝나기 몇 달 전의 데이터입니다. 그것은 추정치(estimate)이지, 공시(filing)가 아닙니다.
더 심각한 경우: 2024년 공시 자료가 이미 공개되었음에도 불구하고 2023년 데이터를 "사용 가능한 최신 데이터"로 제시하는 경우입니다.

포착 방법: 출처의 날짜와 해당 출처가 설명하는 기간을 대조하십시오. 만약 출처가 공시가 이루어질 수 없는 시점에 미래의 결과를 논하고 있다면, 그것은 추정치를 사용하고 있는 것입니다.

실패 모드 #5: 출처 세탁 (Attribution Laundering)
현상: 미디어 기사에서 발견된 사실이 마치 공식 공시(official filing)에서 나온 것처럼 인용됩니다.
보고서에는 "SEC 공시(SEC filings)에 따르면"이라고 적혀 있지만, 실제 출처는 그 자체로 두 번째 단계의 애널리스트 노트(analyst note)를 인용한 TechCrunch의 요약 기사입니다. 두 단계의 '전화기 게임(telephone game, 정보 왜곡)'이 발생한 것입니다.
또는: 기업 보도 자료(press release)를 "산업 데이터(industry data)"로 인용하는 경우입니다. 보도 자료는 기업의 성명일 뿐, 독립적인 검증 자료가 아닙니다.

포착 방법: 모든 주장을 가장 초기에 인용된 출처까지 추적하십시오. 1차 자료(Primary) = 공식 공시/데이터셋. 2차 자료(Secondary) = 애널리스트 보고서. 3차 자료(Tertiary) = 미디어 기사. 미디어에만 등장하는 수치는 검증되지 않은 것입니다.

이러한 패턴들을 포착하기 위한 도구를 만들었습니다

이러한 패턴들이 반복되는 것을 본 후, 저는 이 5가지 실패 모드(failure modes)를 인지하고 이를 체계적으로 점검하는 팩트 체크 도구인 EFC (Everything Fact-Checked)를 구축했습니다.

EFC는 세 가지 형식으로 제공됩니다:

CLI (efc)

pip install everything-fact-checked

# 전체 감사 (Full audit)
...

GitHub Action
모든 PR(Pull Request)에서 마크다운(markdown) 보고서를 자동으로 팩트 체크합니다:

- uses: Nlai741533/EFC-Plugin@v0.2.2

독립형 SKILL.md (모든 AI 에이전트용)
단 하나의 마크다운(Markdown) 파일이며, 의존성(dependencies)이 전혀 없습니다. 에이전트의 스킬 디렉토리에 넣기만 하면 구조화된 6단계 팩트 체크 워크플로(workflow)를 갖추게 됩니다. Claude, Cursor, Pi 또는 모든 에이전트에서 작동합니다.

출력 예시

$ efc audit report.md
## Audit: report.md
Claims found:   18 (P0: 8, P1: 2)
...

$ efc verify evidence.json
✅ C002: found — Source contains 5 key terms from claim
🔌 C003: fetch_failed — source unreachable

메타적인 부분 (The Meta Part)
이 도구의 첫 번째 버전은 환각(hallucinated)된 설치 명령어를 포함하여 출시되었습니다. 존재하지 않는 claude skill add 명령어를 AI가 매우 확신에 찬 태도로 지어냈던 것입니다.
이것이 바로 이 도구가 존재하기 위해 만들어진, 말 그대로의 실패 모드입니다.

이제 이 저장소(repo)는 매 릴리스(release) 전에 스스로를 팩트 체크합니다 (FACTCHECK.md 참조).

링크:
전체 저장소 (CLI + Action + Claude 플러그인): EFC-Plugin
독립형 스킬 (단일 파일, 모든 에이전트용): EFC-Standalone
두 프로젝트 모두 MIT 라이선스이며, 표준 라이브러리(stdlib)만 사용하는 Python(의존성 없음) 기반이고, 72개의 테스트를 포함하고 있습니다.

만약 AI 연구 결과물에서 다른 체계적인 실패 모드를 발견하셨다면, 댓글로 알려주시면 감사하겠습니다.