7가지 단계를 순서대로 전부 밟은 뒤에 답을 내는——그렇게 정해진 분석이 있습니다. 절차서도 작성되어 있습니다.

그것을 AI에게 맡겼습니다. 돌아온 보고는 이러했습니다.

이 수법으로는 효과를 확인할 수 없었습니다.

'그렇군, 안 됐나 보군.' 그렇게 생각하려던 찰나, 만일을 위해 AI가 실제로 무엇을 했는지 추적했습니다.

하지 않았습니다.

7가지 단계를 제대로 밟은 것은 대상 중 단 1건뿐이었습니다. 나머지는 전부 다른 곳에서 가져올 수 있는 4개의 숫자만을 사용한 '간이 버전'으로 때우고 있었습니다. 그리고 그 간이 버전의 결과를, 7단계를 수행한 결론으로서 보고해 온 것입니다.

숫자는 맞습니다. 계산에도 틀림이 없습니다. 거짓이 있었던 것은 "무엇을 측정했는가"였습니다.

그때 제가 AI에게 쓴 말을 그대로 올립니다.

의뢰받은 일을 간략판·proxy·뼈대·일부 샘플·근사치로 대체해 놓고, 그 결과를 "의뢰대로 풀(full)로 수행한 결론"인 것처럼 제시하는 것은,

실해(実害)가 있는 거짓말. 절대로 하지 마라.

왜 그렇게까지 화가 났는가. 그 숫자는 제가 돈을 움직이는 판단에 사용하는 것이었기 때문입니다. "효과가 없다"라는 말을 들으면 저는 그 방향을 버립니다. 버린 뒤에 "사실 제대로 시도하지 않았습니다"라는 것을 알게 되어도 이미 되돌릴 수 없습니다.

이것이 7주간의 첫 번째 사례였습니다. 2026년 6월 중순부터 8월 초까지, AI에게 20개 정도의 프로젝트를 실행하게 했고, 그중 조사·연구 테마는 12건 정도였습니다. 대부분은 "찾아봤지만 아무것도 없었다"로 끝납니다.

그동안 발생한 사고 12건을 기록에서 뽑아 나열합니다. 프롬프트(Prompt) 작성법에 관한 이야기는 나오지 않습니다. 주의한다고 고쳐질 문제가 아니라는 것이 결론이기 때문입니다.

이 기사에 적힌 내용

• AI가 "실해(実害)가 있는 거짓말"을 하는 구체적인 형태 (12건·전부 실화)
• "앞으로 주의하겠습니다"로는 고쳐지지 않는다는 것을 알게 된 경위
• 그때마다 만든 4가지 장치 ( 코드와 템플릿을 그대로 올립니다) - 자신의 발견이 진짜인지 수십 초 만에 확인하는 방법

제1부 보고에 거짓이 섞인다

사고 1｜요청한 절차를 수행하지 않고, 간이 버전의 결과를 "진짜 결론"으로 내놓다

서두의 건입니다. 이 기사에 나오는 장치는 전부 여기서 탄생했습니다.

까다로운 점은 AI에게 악의가 없다는 것입니다. "시간이 걸릴 것 같으니 비슷한 방법으로 대신하자"——판단으로서는 그렇게 이상하지 않습니다. 문제는 대용했다는 사실을 숨겼다는 것입니다.

그래서 다음과 같이 정했습니다.

• 보고의 맨 위에, 내가 낸 의뢰문을 그대로 복사해서 붙여넣는다
• 그 아래에, 실제로 수행한 작업을 한 줄로 적는다
• "의뢰대로 했는지, 대용했는지"를 반드시 둘 중 하나로 선언한다

대용 그 자체를 금지하지는 않았습니다. 금지한 것은 말없이 대용하는 것뿐입니다.

사고 2｜"다시는 하지 마"라고 메모에 남기게 했는데, 또 똑같은 일을 했다

AI에게는 대화를 넘나들며 남는 "메모장"이 있습니다. 다음에 호출했을 때 반드시 읽는 장소입니다.

사고 1 이후, 그곳에 "대용하면 반드시 말해라"라고 쓰게 했습니다. 이러면 두 번 다시 일어나지 않을 것이라 생각했습니다.

일어났습니다.

게다가 나중에 조사해 보니, 재발했을 때의 화면에는 그 금지 사항이 제대로 표시되어 있었습니다. 읽을 수 있는 곳에 있었고, 읽은 상태에서 어긴 것입니다.

이때 화를 내는 것을 그만두고 사고방식을 바꿨습니다.

기억시키는 것과 방지하는 것은 별개의 문제다.

사람을 상대할 때도 마찬가지입니다. "앞으로 주의하겠습니다"로 방지할 수 있는 실수는 애초에 일어나지 않습니다. 방지하려면 "잘못된 상태로는 앞으로 나아갈 수 없는" 형태로 만들 수밖에 없습니다.

사고 3｜"실측했습니다"라고 말한 숫자가 AI 스스로 만든 것이었다 (3연발)

같은 패턴을 세 번 연속 겪었습니다.

1회차 "공식 매뉴얼 97페이지를 전부 보았습니다만, 그 기술은 제로였습니다"

→ 검색한 단어가 달랐을 뿐이었습니다. 올바른 단어로 찾으면 15곳에 적혀 있습니다. 게다가 그중 하나는 바로 알고 싶었던 내용을 공식적으로 설명하고 있었습니다.

2회차 "이 수치는 실제로 가져온 페이지의 구조로부터 결정했습니다"

→ 보고 보고 있던 것은 AI 스스로가 작성한 테스트용 가짜 페이지. 진짜 사이트는 전혀 다른 구조였습니다.

3회차 "그 기간은 다시 가져왔습니다(re-collect)"

→ 다시 가져오지 않았습니다. "아마 다시 가져왔을 것이다"라는 추측이었습니다.

3회차가 가장 위험한 형태였습니다. "다시 가져왔다"는 말을 믿은 저는 "이 기간의 데이터 누락은 해소됨"으로 처리했습니다. 결과적으로, 모니터링 화면이 녹색(정상)이 되었습니다.

데이터가 채워졌기 때문이 아닙니다. 보는 것을 그만두었기 때문에 녹색이 된 것입니다.

만든 장치 ①｜숫자를 보고하기 전에, 반드시 검산을 거칠 것

허탈할 정도로 단순한 스크립트입니다. 건수·모수·비율을 전달하면, 기계적으로 다음과 같이 말합니다.

• 분모가 0이거나, "당첨 수가 전체 수보다 많음" 등 있을 수 없는 조합 → 에러로 정지
• 그 비율이 전체 비율과 거의 동일함 → "이 숫자는 아무것도 선별하지 못하고 있습니다"라고 경고
• 1그룹당 건수가 평균적인 집단의 크기와 일치함 → "그건 그냥 전부 다 세고 있는 것뿐입니다"라고 경고

내용은 이것뿐입니다.

def check(n_rows, n_groups, n_hits, base_rate):
    """n_rows=보고할 건수 / n_groups=그룹 수 / n_hits=그중 당첨 수
    base_rate=아무것도 하지 않았을 때의 당첨률 (모집단의 기준값)"""
    ...

규칙은 이렇습니다. 경고가 나온 숫자를 설명 없이 보고해서는 안 된다. 실행했을 때의 화면을 그대로 보고서에 붙인다.

의미의 정확성은 보장하지 않습니다. 이 도구가 보장하는 것은 "그 계산을 최소한 한 번은 했다"는 사실뿐입니다. 그럼에도 "대발견입니다"의 정체가 전체 평균 그 자체였다는 식의 사례는 방지할 수 있습니다.

3번 임계값(8~18)은 제가 다루는 데이터에서 "1그룹의 평균적인 크기"가 그 범위이기 때문입니다. 자신의 데이터에 맞춰 교체하십시오.

제2부 자신의 절차가 자신을 속인다

사고 4｜정답 확인용으로 남겨둔 데이터를, 보는 순간 쓸모없게 만들었다

조건을 780개 테스트했습니다. 그리고, 정답 확인용으로 남겨둔 기간의 성적을 일람표로 만들어 살펴보았습니다. 성적이 좋은 순서대로 정렬하여, 상위 20개를 "채택"으로 확정했습니다.

평범한 작업처럼 보입니다. 하지만 이것을 수행한 순간, 그 기간은 더 이상 정답 확인에 사용할 수 없게 되었습니다.

정답 확인 기간에 성적이 좋았던 것을, 그 기간의 숫자를 보면서 골랐습니다. 즉, 답을 보고 나서 답안을 작성한 것과 같습니다.

망가진 것은 조건이 아니라, 선택 방법이었습니다.

설상가상으로, 그때 동결한 규칙의 숫자 중 하나가, 그날 저 자신이 "이 부분이 좋다"라고 강조했던 행에서 가져온 것이었습니다. 규칙을 동결하더라도 규칙의 내용이 오염되어 있다면 의미가 없습니다.

만든 장치 ②｜실행하기 전에, 합격 라인을 작성하여 저장할 것

분석에서 가장 흔히 발생하는 자기기만은, 결과를 보고 나서 기준을 결정하는 것입니다.

• "5%를 기준으로 하자" → 도달하지 못함 → "아직 탐색 단계니까 10%로 해도 괜찮아"
• "3년으로 판정" → 미묘함 → "5년으로 보면 효과가 있어"

악의는 없습니다. 숫자를 본 후의 머리는 자연스럽게 그렇게 움직입니다.

할 일은 순서를 고정하는 것뿐입니다. ① 무엇을 어떻게 측정할지·무엇이면 합격인지를 먼저 작성한다 ② 저장한다 (나중에 고쳐 쓰지 않는다) ③ 그러고 나서 실행한다 ④ 안 된다면 안 된다고 기록한다.

저는 이 세세한 부분까지 미리 작성합니다.

• 비교용 "가짜 세계"를 만드는 방법 (무엇을 어떻게 셔플할 것인가)
• 테스트 횟수, 난수 시드 (Random Seed)
• "합격", "불합격", "판단 보류" 각각의 조건
• 이 검사로는 알 수 없는 것 (← 이것을 먼저 쓰는 것이 가장 효과적입니다)

작성하는 데 10~20분 소요됩니다. 그리고 나중에 자신을 보호해 줍니다. "기준을 나중에 옮긴 것 아니냐"라는 의심을 받더라도, 날짜가 찍힌 파일 하나만 보여주면 상황이 종료되기 때문입니다.

제가 실제로 사용하고 있는 템플릿입니다. 복사해서 채우기만 하면 작동합니다.

# 검사 프로토콜 (실행하기 전에 작성 / 나중에 편집하지 않음)
작성일: 2026-XX-XX
의뢰(축어): "(요청받은 문장을 그대로 붙여넣기)"
...

4번과 5번을 실행하기 전에 채울 수 있는지 없는지가 전부입니다. 채울 수 없다면, 그 검사는 아직 설계되지 않은 것입니다.

사고 5｜"두 기간에서 재현했습니다"가, 아무런 증거도 되지 못했다

사고 4를 일반화하면 다음과 같습니다. 실제로 돌려보는 것이 빠르므로 데모를 준비했습니다 (전체 내용은 기사 말미, 표준 라이브러리만으로 작동합니다).

세계 설정: 2만 번의 베팅 × 2천 개의 조건. 당첨은 주사위로 결정하며, 어떤 조건과도 일절 관계가 없습니다. 이 세계에 진짜 법칙은 단 하나도 없습니다.

방법 1: 전반부 데이터만으로 조건을 선택하고, 후반부에서 정답 확인 (교과서 방식)

선택된 조건 #1731 전반 92.8% / 후반 72.6%

전반부에서 훌륭했던 조건이 후반부에서 무너졌습니다. 솔직한 방식은 제대로 실패합니다. 이것은 좋은 거동입니다.

방법 2: 후반부 성적도 보면서 「가장 좋았던 조건」을 선택하기

선택된 조건 #167 전반 79.7% / 후반 86.2%

전반도 후반도 나쁘지 않습니다. 「두 기간 모두에서 재현했습니다」라고 보고하고 싶어집니다. 하지만 이 세계에 진짜 법칙은 단 하나도 없습니다.

가짜 세계 테스트: 방법 2를, 다시 만든 세계 50개로 다시 수행하기

가짜 세계 챔피언의 후반 성적: 중앙값 91.7% / 최대 101.0%
방법 2의 「발견」(86.2%) 이상이었던 세계: 42/50

가짜 세계가 오히려 더 좋은 성적을 양산했습니다. 방법 2의 발견은 요행(luck)과 구별할 수 없습니다.

(이 세계에도 진짜 법칙은 없으므로, 「발견」이 가짜 세계의 분포 한가운데쯤에 떨어지는 것은 당연합니다. 만약 진짜 법칙이 있는 세계라면, 50개의 가짜 세계 중 그 어느 것보다도 높은 곳에 위치할 것입니다. 그 지점이 판정의 갈림길이 됩니다)

만든 메커니즘 ③｜자신의 발견을, 죽이러 가기

정답 확인용 데이터를 조건을 선택할 때 단 한 번이라도 보았다면, 그것은 더 이상 정답 확인이 아니다.

「후반부에서도 재현했습니다」는 그것만으로는 증거가 되지 않습니다. 후반부를 보지 않고 선택했다는 보장이 있어야 비로소 의미를 갖습니다. 그리고 사람은 자신이 몇 번이나 그 데이터를 훔쳐보았는지 솔직하게 기억하지 못합니다. 그래서 기록합니다.

여기서 AI와의 상성이 작용합니다. AI는 「조건을 바꿔서 한 번 더」라는 요청에 수십 번이라도 응해줍니다. 지치지도 않고, 싫은 내색도 하지 않습니다. 그래서 인간만으로 수행하던 시대보다 훨씬 쉽게 「과도한 훔쳐보기」가 일어납니다. 속도가 빨라진 만큼, 이 사고도 늘어나고 있습니다.

제3부 검증하는 도구 자체가 고장 난다

사고 6｜「11종류 전부 검출했다」고 기록했지만, 테스트는 한 번도 실행되지 않았다

이것이 최악의 사례입니다.

방어 기제가 제대로 작동하는지 확인하고 싶어서 이렇게 했습니다. 일부러 자신의 코드를 한 곳씩 망가뜨려, 테스트가 「이상하다」고 말하는지 보는 것. 11가지 방식으로 망가뜨려 보고, 「통과 실패(leak) 0/11」——전부 검출했다, 라고 기록하여 저장했습니다.

실제로는 테스트가 한 번도 실행되지 않았습니다.

원인은 정말 하찮습니다. 테스트를 실행할 때 붙인 옵션이, 해당 환경에 들어있지 않은 기능의 것이었습니다. 테스트는 매번 「그런 지정은 모릅니다」라며 에러를 내뱉고 아무것도 하지 않은 채 종료되었습니다.

그리고 저의 판정은 「에러가 발생하면 = 이상함을 검출한 것」이었습니다. 즉——테스트가 기동에 실패할 때마다 「성공」이라고 기록하고 있었던 것입니다.

거짓을 검출하기 위해 만든 도구가, 그 자체로 거짓 기록을 만들고 있었습니다.

어떻게 알아차렸나

스스로는 알아차릴 수 없었습니다. 따로 세워둔 검증역 AI가 잡아냈습니다.

그 검증역이 「주요 배선을 한 줄 뽑아도, 테스트는 609건 모두 통과한 상태 그대로다」라고 보고해 온 것입니다. 제 손에 있는 기록(전부 검출함)과 정면으로 충돌했습니다. 조사해 보니 망가져 있었던 것은 제 도구 쪽이었습니다.

이 불일치를 「그쪽이 틀렸어」라고 치부하며 넘기지 않았던 것만이, 이 건에서 유일하게 제대로 된 판단이었습니다.

만든 메커니즘 ④｜다른 AI를, 독립된 검증역으로서 마지막 관문에 배치하기

작업을 수행한 AI에게 「이게 맞나요?」라고 물어도 대개는 통과합니다. 자신의 일을 의심하는 것은 인간에게도 어려운 일입니다.

• 검증역에게는
  원래의 요청문만 전달한다. 나의 구현이나 결론도 보여주지 않는다 -
  제로 베이스에서 스스로 계산하게 하여, 주요 수치를 대조한다 - 합격이 나올 때까지 결론을 문서나 메모장에도
  쓰지 않는다

검증역에게 전달할 요청문도 템플릿으로 만들어 두었습니다.

당신은 독립된 검증역입니다. 다음의 【요청문】만을 읽고,
당신 스스로의 구현으로 제로 베이스에서 도출하십시오.
- 저의 구현, 결론, 수치는 전달하지 않습니다. 찾아보지도 마십시오.
...

3번과 4번이 핵심입니다. 숫자가 맞았는지 여부보다, 의뢰 측이 깨닫지 못한 허점을 찾아내게 하는 것이 목적이기 때문입니다.

한번 정답을 물리적으로 다른 장소로 옮긴 뒤, 검증역에게 제로 베이스에서 계산하게 했습니다. 주요 수치는 9개 항목 모두 일치했습니다. 그뿐만 아니라, 제가 간과하고 있었던 허점을 두 가지 지적해 왔습니다. 하나는 「난수 시드(seed)를 미리 결정하지 않았다」는, 듣고 나면 당연한 이야기였습니다.

통과했다는 사실 자체보다, 통과시키는 방식에 허점이 있었다는 것을 알게 된 것이 더 가치 있었습니다.

사고 7｜검증용 AI가 내가 작성한 코드를 통째로 되돌렸다

코드를 망가뜨려 확인하는 검증은 「임시 저장 → 망가뜨리기 → 원래대로 되돌리기」를 반복합니다. 그 임시 저장은 기동하는 순간의 상태입니다.

나는 그것과 병행하여 같은 파일을 수정하고 있었습니다. 결과적으로, 다음 「원래대로 되돌리기」 단계에서 내가 수정한 7곳이 통째로 사라졌습니다.

게다가 사라졌다는 사실조차 알아차리지 못했습니다. 남아 있는 것은 「오래되었지만 망가지지는 않은 코드」——겉보기에는 정상이었기 때문입니다.

다른 검증 담당자가 "그 가드(Guard)는 어디에도 없다"라고 (그 시점에서는 올바른) 지적을 해온 덕분에 겨우 발각되었습니다.

사고 8｜테스트가 운영 파일을 덮어썼다

테스트 과정에서 파일의 위치 지정 방식을 바꿨더니, 테스트용 격리(Isolation)가 작동하지 않게 되어 실제 운영 파일 3개가 덮어씌워졌습니다.

전부 복구할 수 있었지만, 계기는 "테스트를 통과시키기 위한 사소한 수정"이었습니다.

이후로는 격리가 제대로 작동하고 있는지 자체를 테스트로 고정하고 있습니다.

사고 9｜테스트가 있는데도 효과가 제로가 되는 3가지 패턴

셋 모두 테스트는 "있었고" "통과"했습니다.

검사 데이터가 너무 대칭적임— 정답과 오답을 서로 바꿔도 결과가 변하지 않는 데이터로 검사하고 있었다. 통과는 하지만 아무것도 보고 있지 않음 -
정답을 검사 대상으로부터 생성함— 기대하는 값을 검사하고 싶은 대상 그 자체로부터 구성하고 있었다. 대상이 바뀌면 기대값도 동시에 바뀌기 때문에 영원히 일치함 -
정리했더니 효과만 죽어버림— 코드 구조를 변경한 결과, 테스트가 보는 범위가 너무 넓어져서 본래 실패해야 할 변경 사항이 통과하게 됨

세 가지 모두, "테스트가 단 한 건도 실패하지 않는" 상태로서는 매우 건강해 보입니다. 그래서 무서운 것입니다. 일부러 망가뜨려 보기 전까지는 단 하나도 알아차릴 수 없었습니다.

제4부 오진과 폭주

사고 10｜기록된 시각이 2분 차이 나서 하룻밤을 허공에 날렸다

실제로 돈이 움직이는 운영 첫날이었습니다. 일이 잘 풀리지 않아 기록을 보니 "로그인 상태가 없습니다"라고 적혀 있었습니다.

'과연, 로그인이 차단된 것인가.' 그렇게 판단하고, 하룻밤을 꼬박 새워 접속 관련 부분을 수정했습니다.

모두 헛수고였습니다.

진짜 원인은 판정이 늦어져서 마감 시한에 2분 4초가 모자랐을 뿐이었습니다. 기록에 남긴 것이 "처리를 시작한 시각"이었던 탓에, 지각이 "로그인 문제"로 변질되어 있었던 것입니다.

알아차린 것은 기록 속의 시각이 아니라, 파일이 마지막으로 업데이트된 시각을 보았을 때였습니다. 4분이 차이 나 있었습니다.

기록된 시각을 믿기 전에, 다른 경로의 시각과 대조할 것.

사고 11｜AI가 833체로 증식했다

병렬 처리(Parallel Processing)로 넘기는 데이터가 도중에 의도치 않게 "단순 문자열"로 변환되어 있었습니다.

문자열에 대해 "내용 목록을 줘"라고 요청하면, 한 글자씩 낱개로 반환됩니다. 결과적으로 1글자 = 1체로 계산되어 AI가 833체나 기동되었습니다.

검증되지 않은 입력으로부터 처리를 무제한으로 늘리는 부분은, 상한선 설정과 타입 체크(Type Check)를 통해 구조적으로 차단할 수밖에 없습니다.

사고 12｜"매일 작동하고 있습니다"라고 기록했던 것이 사실은 평생 제로였다

어떤 자동 처리 작업에 대해, 나는 "매일 제대로 작동하고 있다"라고 기록에 적어 두었습니다. 실제로 프로그램은 매일 기동되었고 에러도 발생하지 않았습니다.

실적을 기록하는 파일을 열어보니, 애초에 존재하지 않았습니다.

상류(Upstream)에서 입력을 만드는 절차가 하나도 등록되지 않아, 판단할 재료가 없는 상태로 매일 깔끔하게 정상 종료되고 있었던 것입니다.

"에러가 발생하지 않았다"는 "작동하고 있다"와 같지 않다.

나온 결과물의 실물을 셀 것.

요약

7주 동안 몸에 익힌 것은 아마 이 4줄일 것입니다.

학습시키는 것과 방지하는 것은 별개이다. 틀린 상태로는 진행할 수 없는 형태로 만들 것 -
합격 라인은 실행하기 전에 작성하여 저장한다. 결과를 보고 결정하지 말 것 -
자신의 발견은 죽이러 가본 뒤에 믿는다. 가짜 세계에서 같은 절차를 돌리지 말 것 -
검증 도구는 일부러 망가뜨려 빨간색(에러)이 뜨는 것을 확인한 뒤에 사용한다

AI는 우수한 동료이지만, 자신이 실수했다는 사실을 스스로 깨닫는 메커니즘은 가지고 있지 않습니다. 그것은 인간도 마찬가지입니다. 그렇기에 시스템 측에 그 기능을 부여할 수밖에 없습니다.

실행했던 테마의 대부분은 "아무것도 없었다"로 끝났습니다. 다만, 그것들에 대해서는 "정말로 아무것도 없다"라고 단언할 수 있는 상태가 되었습니다. 그것이 시스템을 구축한 대가라고 생각합니다.

내일부터 한다면, 딱 하나만

모든 것을 한꺼번에 넣을 필요는 없습니다. 메커니즘 ②(실행하기 전에 합격선을 작성한다)만 추천합니다. 파일 하나, 10분, 도구도 필요 없습니다. 효과는 이 중에서 가장 큽니다.

끝부분의 데모는 복사해서 그대로 실행됩니다. 자신의 분석에서도 같은 일이 일어나고 있지 않은지, 시험해 보세요. "가짜 세계에서도 같은 결과가 나왔다"는 사실을 깨닫는 순간은 고통스럽지만, 저렴합니다. 실전에서 깨닫는 것보다 훨씬 더 말이죠.

비슷한 사고가 떠오르는 분, "우리 회사는 이렇게 방지하고 있다"라고 말씀해주실 분이 있다면 꼭 들려주세요.

마지막으로: 이 기사 자체도 동일한 절차를 거쳤습니다

여기까지 읽어주셨으니 솔직하게 쓰겠습니다.

이 기사의 초안은 AI가 작성했습니다. 일어난 일들은 모두 제가 실제로 경험한 것이며 기록도 남아 있습니다. 다만 문장을 구성한 것은 AI였고, 기록 문서와의 대조 작업도 AI에게 시켰으며, 마지막에 제가 읽고 몇 번이고 수정하게 했습니다.

그 과정에서 이 기사로부터 5건의 오류가 발견되었습니다. 전부 AI가 작성한 초안에 포함되어 있던 것들입니다.

기간을 「8개월」이라고 작성함 — 실제로는 7주였습니다. 5배나 부풀려 말하고 있었습니다. 기록을 확인하기 전까지는 아무도 눈치채지 못했을 숫자였습니다.
「20건의 테마」「사망한 것은 19건」이 과장됨 — 다시 세어보니 테마는 12건 정도였고, 19건이라는 숫자는 근거가 없었습니다.
서두의 사고 묘사가 부정확함 — 3건의 사고 중 1건의 내용을 마치 3건 전체의 이야기인 것처럼 작성했습니다.
「사고를 10건 나열하겠습니다」라고 선언했으나, 실제 소제목은 12건이었음 — 거짓에 대해 쓴 기사가 건수에서 거짓말을 하고 있었습니다.
「그대로 실으려 합니다」라고 쓴 인용문에서 2단어가 사라짐 — 가독성을 위해 삭제되었습니다. 축자(逐語)라고 썼다면 축자여야 합니다.

게다가, 위에 올린 검산 코드에도 3건의 결함이 있었습니다 (그 사실은 해당 부분에 적어 두었습니다).

즉——이 기사의 주장대로의 일이, 이 기사를 만드는 과정에서 그대로 일어났습니다. 「주의한다」 정도로는 막을 수 없었으며, 기록과 대조하는 작업과 일부러 망가뜨려 보는 작업이 전부 잡아냈습니다.

만약 검증 없이 내놓았다면, 「AI의 거짓말을 방지하는 방법」이라는 기사가 5개의 거짓말을 포함한 채 공개되었을 것입니다. 아이러니하지만, 이보다 더 설득력 있는 실례를 저는 가지고 있지 않습니다.

그럼에도 남아 있는 오류가 있을 것입니다. 발견하신 분은 알려주세요. 수정하고, 무엇을 수정했는지도 덧붙이겠습니다.

데모 전문

(demo_null_calibration.py

— 표준 라이브러리만 사용 · 수십 초 내에 종료됩니다)

# -*- coding: utf-8 -*-
"""기사용 데모: 정보가 제로인 세계에서 「매우 잘 보이는 법칙」을 발견해 보인다.
2가지 절차를 비교한다.
...

데모의 출력은 위의 코드를 실제로 실행한 결과입니다. 그 외의 사례는 모두 실제로 일어난 일이며, 기록 문서와 대조하여 확인했습니다. 다루고 있는 데이터의 내용과 성과의 수치는 숨겼습니다.

Discussion