AI가 제시하는 '확인됨' 표시, 어디까지 신뢰해야 할까? 근거 없는 체크(✓)를 간파하는 방법

※이 기사는 Zenn의 글을 전재한 것입니다.

저는 개인적으로 허가/인가, 보조금, 체류 자격 절차를 해설하는 정보 사이트를 운영하고 있습니다. 이 글들은 AI와 분업하여 작성하며, 1차 자료 조사 및 사실 확인(Fact Check)은 담당 조사 AI에게 맡기고 있습니다.

조사 AI는 확인한 항목마다 다음과 같은 표시를 붙여 반환합니다.

| 기사 | ✓가 붙었던 내용 | 실제는 |
|---|---|
| 보조금 정리 | 특정 보조금에 '창업 트랙(200만 엔)'이 있다 | 창업 트랙은 다른 공모(신청 시기와 절차도 별개)이다 |
| 비자 신청서 작성법 | 증명사진은 '신청 전 3개월 이내' 촬영한 것 |
6개월 이내 (출입국 체류 관리청 사진 규격) |

두 경우 모두 다른 조사를 하다가 1차 자료를 읽을 때 우연히 발견했습니다. ✓가 붙어 있었습니다.

돌이켜보면, ✓에는 '어디에, 무엇이라고 쓰여 있었는지'가 함께 붙어있지 않았습니다. ✓는 단순한 판정일 뿐입니다. 판정은 근거가 없어도 할 수 있습니다.

같은 종류의 실패는 다른 곳에서도 있었습니다.

조사 AI가 '참고 URL은 모두 개통 확인됨'이라고 작성해 온 조사에서, URL 8개 전부가 각 부처의 최상위 페이지였습니다. 각 부처의 최상위 페이지가 열리는 것은 당연합니다. 본문에 쓰인 제도의 시작일은 단 한 번도 그 날짜가 적힌 페이지를 거쳐서 확인된 적이 없었습니다.

✓의 출전란이 '〜에서의 일반적 적용 원칙'이라고 되어 있는 항목이 있었습니다. 조문이나 공표 자료는 제시되지 않았습니다. 결론 자체는 맞았지만, 확인된 것은 아니었습니다.

어느 시의 절차를 9월에 조사하게 하고, 10월에 사이트에 올리려고 했을 때, 양식이나 안내 페이지 URL이 37개 중 25개나 열리지 않았습니다(404). 사이트 자체는 열렸기 때문에, 페이지 위치가 달랐던 것입니다.

모두 표 형태로 되어 있고, 확인일까지 포함되어 있으며, 형식은 깔끔하게 정돈되어 있었습니다. 형식이 잘 갖춰져 있을수록 사람들은 내용(본질)을 보지 않고 통과시켜 버립니다.

그래서 ✓를 붙이는 조건을 바꿨습니다. 조사 AI에게 요청하는 문구에 다음 규칙을 추가했습니다.

- 각 값에는 1차 자료의 원문 인용(1~2문장)을 첨부할 것. 인용이 없는 값은 적지 말 것
- URL은 해당 서술이 쓰여 있는 개별 페이지일 것. 최상위 페이지는 불가
- 모든 URL을 실제로 열어보고, HTTP 200을 확인한 후에 작성할 것. 추측으로 URL을 만들지 말 것
...

돌아온 표는 다음과 같습니다.

| 항목 | 판정 | 원문 인용 | URL | 확인일 |
|---|---|
| 사진 기한 | ✓ | 「제출일 전 6개월 이내에 촬영된 것」 | (사진 규격 페이지) | 2026-10-14 |
| 우편 신청 | ❓ | (인용 없음) | — | — |

핵심은, 인용을 붙일 수 없는 항목은 ✓로 할 수 없다는 것입니다. '아마 맞는 것 같다'는 표 위에서 ❓로 눈에 보이게 만듭니다.

인용을 붙여도 AI가 틀리지 않게 되는 것은 아닙니다. 바뀐 것은 **사람이 확인할 때의 노력(수고)**입니다.

• ✓만 있을 때: 1차 자료를 직접 찾고, 해당 부분을 읽고, 숫자를 대조한다.
• 인용이 있을 때: URL을 열어,
  인용 문구가 거기에 있는지 확인하기만 하면 됩니다.

더 나아가, 작성자 측(저와 글쓰기를 담당하는 AI)에서도 지키는 것이 있습니다.

숫자와 기한은 작성자가 1차 자료로 대조한다. 조사 AI의 ✓만으로는 통과시키지 않는다 -
URL은 자신의 스크립트로 전 건을 열어본다. HTTP 200인지, 최상위 페이지로 리디렉션되지 않았는지 기계적으로 확인한다 -
인용이 문구 그대로 일치하는지를 가끔 뽑아서 본다. 과거에 인용 문구가 각 부처 페이지와 일치하지 않아, 직접 다시 작성한 적이 있습니다.

아직 1주일 정도밖에 지나지 않아서 건수는 많지 않습니다. 그럼에도 불구하고 다음 일이 벌어졌습니다.

• 작성자 측의 오류 발견: 작성 AI가 작성한 '부내 전역에서 영업할 수 있는 곳은 노점상뿐'이라는 기술에 대해, 조사 AI가 인용과 함께 ⚠️ 표시를 붙였습니다. 실제로는 키친카도 부내 전역(나아가 옆 현 전역)에서 영업이 가능합니다. 제가 지자체 안내 페이지에서 확인하여 수정했습니다 -
  근거 없는 기술은 본문에서 사라졌다: '이 신청은 우편으로 할 수 없다', '분실했을 때 이렇게 된다'와 같이 인용을 붙일 수 없었던 기술들은 ❓ 로 표시되어, 본문에서 제외되었습니다. 이전 같았으면 ✓ 상태로 통과했을 가능성이 있습니다 -
  열리지 않았던 URL을 당일 내에 재확보했다: 37건 중 25건이 열리지 않아 조사를 다시 요청했고, 인용과 함께 돌아온 URL 56건 전체를 열어 HTTP 200 상태를 확인했습니다 -
  과거의 ✓를 의심하게 된 계기가 되었다: 인용이 없는 ✓는 소급하여 점검할 대상이 되었습니다.

인용을 의무화한 후 조사에서는 아직 오류가 발견되지 않았습니다. 다만, 기간이 짧고 건수도 적기 때문에 '오류가 없어졌다'고 말할 수는 없습니다. 확실하게 말씀드릴 수 있는 것은, 오류가 공개 전에 눈에 띄는 곳으로 나오게 되었다는 점입니다.

• AI의 ✓는 판정일 뿐, 확인이 아닙니다. 근거가 없어도 작성할 수 있습니다.
• '개통 확인 완료', '확인일', '표의 형태'가 갖춰져 있어도 내용까지 확인되었다고 단정할 수는 없습니다.
  형식이 갖춰질수록 지나치기 쉽습니다 -
  ✓에는,
  원문의 인용・개별 페이지의 URL・확인일 세 가지를 붙이도록 했습니다. 인용이 없는 것은 ✓로 처리하지 않습니다 -
  인용은 AI의 오류를 없애는 것이 아니라,
  사람의 확인을 빠르게 하는 것입니다. 숫자는 작성자가 1차 자료와 대조해야 합니다. '일반적으로', '원칙적으로'는 ❓ 와 같습니다.

AI에게 '확인해 달라'고 요청할 때는, **'무엇을 보여주면 확인했다고 인정할지'**를 먼저 정해두는 것이 좋습니다.

• frontmatter에
  published: true
  을 적었기 때문에, zenn_publish.js
  (150행目)가 승인 전에 commit → 사용자가 Gemini 기사를 push 했을 때 함께 공개되었습니다 - 사용자 판단 = 이대로 공개 (2026-10-14). 공개본은 vault 최신본과 본문 차이 0을 확인했습니다.