사실 확인을 거쳐도 남는 과장된 표현—AI가 작성한 글을 원본 기록으로 역추적하여 수정한 과정

Claude 같은 AI가 작성한 기사는 사실 확인(fact check)을 거치더라도 과장된 표현이 남아있습니다. 공개 전에 수정했던 7가지 유형의 사례를 수정 전후로 보여주고, 원본 기록으로 역추적하여 원래의 강도를 되찾는 절차, 발견자의 분포, 그리고 확인해도 남는 빈틈까지 운영 관점에서 실제 사례와 함께 정리했습니다.

사실 확인을 거친 기사에 과장된 표현이 남아있었다

AI가 작성한 기사는 사실 확인을 거쳐도 공개 전 점검 과정에서 과장된 표현(言い過ぎ)이 발견됩니다.

공개 전 점검에서 제 문장을 4군데 수정했습니다

완료 보고서를 검증한 기사의 원고는 팩트 체크를 거친 버전이었습니다. 공개 전에 비교 및 자기 서술 문구를 원본 기록과 대조해 보니, 4개의 문장이 기록보다 더 강하게 작성되어 있었습니다.

예를 들어, “차이점은 권한의 한 가지에 불과했습니다”라는 문구가 있었습니다. 동일한 지시를 받은 두 에이전트를 비교한 문구였습니다. 에이전트 정의를 열어보니, 모델이나 사용할 수 있는 도구도 두 개가 같지 않았습니다. 이에 따라 “한 가지에 불과하다”는 표현은 기록과 맞지 않다고 판단했습니다. 이를 “차이점 중 하나는 쓰기 권한의 유무였습니다”로 수정했습니다.

남아있던 나머지 3개 역시 같은 경향을 보였습니다. 인과의 ‘원인은’, 자신의 행동에 대한 ‘맹신하고 진행하려 함’, 환경 외로의 일반화의 ‘할 수밖에 없습니다’ 등이었습니다. 자세한 내용은 나중에 표에 정리하겠습니다.

오류가 아니라 과장된 표현이었다

4개의 문장은 오류가 아니었습니다. 사실과 가까운 서술을 원본 기록보다 한 단계 더 강하게 작성한 것이었습니다. 본고에서는 기록보다 강한 상태를 ‘과장된 표현(書き過ぎ)’이라고 부릅니다. 정의는 확도, 범위, 인과, 주체 중 어느 하나가 근거 기록보다 강한 표현인 경우입니다. 기록보다 약하게 작성한 반대 사례도 1가지 있었으며, 표에서 다루겠습니다. 이는 표준 용어가 아니라 필자가 정리한 개념입니다.

사실 확인은 작성된 내용이 사실인지 보는 작업에 해당합니다. 과장된 표현은 문장과 기록의 강도의 차이이기 때문에 판별하기 어려워 보였습니다. 이전 두 편에서는 사실 확인의 판단 기준에서 제외되는 과장된 표현이 많이 남아있었습니다. 개선 로그에 남은 수정 사항을 통해 과장된 표현을 추출하여 유형별로 나누었습니다.

과장된 표현은 7가지 유형으로 분류되었습니다

이전 두 편 제작 과정에서 수정한 과장된 표현들을 바탕으로, 유형별로 하나씩 골랐습니다.

유형별 수정 전과 수정 후를 나열했습니다

7가지 유형을 [수정 전] - [수정 후] - [근거가 된 기록] 순서로 배열합니다. 13번은 완료 보고서를 검증한 기사에서, 46번은 승인된 간접 전달(伝聞)을 다룬 기사 제작 과정에서 수정한 문장들입니다.

유형 분류는 필자의 정리 수준에 머뭅니다

7가지 유형은 개선 로그의 수정을 나열하여 필자가 나눈 정리입니다. 연구나 실무의 표준적인 분류가 아닙니다. 조사한 범위 내에서는 오류와 기록보다 강한 표현을 별개의 문제로 나누어 정리한 기사는 보이지 않았습니다. 검색에서 찾지 못한 결과가 존재하지 않는 증거는 아닙니다.

유사한 사례로는 미국의 모바일 앱에 한정된 숫자를 전체 숫자처럼 작성하는 실패담이 있습니다(note). 범위 확대를 다루고 있지만, 유형별 분류나 대조 절차로 이어지지는 않았습니다. 주체의 혼동을 다루는 정리는 확인되지 않았습니다. 7가지 사례에는 기간(언제에 대한 이야기인지)의 예도 포함되어 있지 않습니다.

사실 확인 담당자가 발견한 것은 1건이었습니다

과장된 표현을 발견한 사람들을 개선 로그의 행에서 세어보았습니다.

발견한 사람은 기사를 작성한 AI 자신이었다

이전 두 편의 개선 로그에는 과장된 표현 수정이 20건 있습니다. 어미 등의 표현 수정은 계산하지 않았습니다. 발견자 내역을 표로 만듭니다.

외부 사실과 자신의 운영 기술 서술은 별개의 작업이었다

사실 확인 담당자가 발견한 1건은 공식 문서 같은 외부 자료에 근거가 있었습니다. 반면, 필자 본인의 운영 기술(記述)은 외부에 근거가 없습니다. 조작 내용・주체・탐색 범위・인용 원문은 오직 손안의 기록에만 있습니다. 기록을 열어보지 않으면 과장된 표현은 발견되지 않았습니다.

사실 확인은 외부 자료에 의존하고, 역추적(逆引き)은 손안의 기록에 의존합니다. 비교하는 대상이 다르기 때문일 것입니다. 필자의 경험 범위 내에서 일반화하지 않았습니다.

주장을 1차 기록으로 역추적하여 강도를 되찾다

공개 전 점검을 통해 실제로 수행한 작업을 절차의 형태로 정리했습니다.

단정적인 표현을 골라 근거 기록을 열어보기

절차는 4가지입니다. 형태는 나중에 정리한 것이며, 점검 당시 순서대로 진행한 것은 아닙니다.

• 단정적 표현(言い切り)을 한 문장씩 작성합니다.
• 근거의 1차 기록을 하나씩 열어봅니다.
• 확도・범위・인과・주체로 강도를 비교합니다.
• 기록보다 강한 부분을 수정합니다.

핵심은 2번입니다. AI 설명이나 메모가 아니라, 기록의 원본을 엽니다. 완료 보고를 검증한 글에서 '단 한 가지'는 에이전트 정의를 열어 모델과 도구를 봤을 때, 차이가 있다는 것을 알 수 있었습니다.

강도를 되찾기 위한 수정 형태를 정하다

수정 형태는 5가지로 정리했습니다.

• 단정에서 추량으로의 수정 (확도)
• 전체에서 일부로 한정 (범위)
• 원인에서 여러 원인 중 하나로 수정 (인과)
• 누가 말했는지 명시 (주체)
• 인용 원문과의 일치성

기록이 약하면, 문장도 약하게 만듭니다. 기록이 존재하지 않는 주장은 수정하는 것이 아니라, 삭제하거나 추론을 명시해야 합니다. 승인의 전언(伝聞)을 다룬 글에서는 확인 빈도를 좁힐 이유가 필자의 운영상의 이유로 기록에 없었기 때문에, '의미는 ~라고 생각됩니다'와 같은 형태로 바꿨습니다.

연구에서도 AI 요약은 일반화가 강해진다고 보고되고 있다

과학 논문 요약을 대상으로 한 연구에서도 LLM이 원문을 보다 넓게 일반화한다고 보고하고 있습니다.

과학 논문 요약에서는 여러 모델에서 과잉 일반화가 나타났다

Royal Society Open Science에 2025년에 게재된 연구(arXiv 초안으로 확인)는 10개의 LLM을 사용하여 과학・의학 논문의 초록 등 총 4,900건의 요약을 평가했습니다. 정확성을 요구하는 프롬프트에서도 많은 모델이 원문보다 넓은 일반화를 하고 있었습니다. 인간이 작성한 요약에 비해 약 5배(오즈비 4.85) 더 넓은 일반화를 포함하기 쉬운 결과였습니다. DeepSeek・ChatGPT-4o・LLaMA 3.3 70B에서는 26~73%의 경우 과잉 일반화가 있었습니다.

반면, Claude의 3개 모델(Claude 2・3.5 Sonnet・3.7 Sonnet)은 원문과의 비율이 5% 수준에서는 유의미하지 않았습니다. 유의미하지 않다는 결과는 차이가 없음을 증명하는 것은 아닙니다. 읽은 것은 최종 전 초안이었으며, 출판본 수치는 확인하지 못했습니다. 최신 세대 모델의 결과도 미확인입니다.

블로그 글에 적용하는 것은 필자의 추론에 그친다

연구 조건은 과학 논문의 초록 등의 요약에 한정됩니다. 기록으로부터 문장을 쓰는 경우나, 블로그 글 작성은 대상에 포함되지 않습니다. 이전 두 편의 관찰 역시 두 편의 범위에 머뭅니다.

연구가 보여주는 것은 AI가 작성한 요약에 원문보다 강한 표현이 섞이는 경향입니다. 필자의 두 글은 같은 방향의 경험이었습니다. 다만, 같은 원인이라고 단정할 수는 없습니다.

역추적을 해도 과장된 표현은 남을 수 있다

역추적이 만능은 아닙니다. 남아있는 빈틈을 채웁니다.

1차 기록에도 누락이 있어 같은 AI 점검에는 편향이 있다

1차 기록에도 누락이나 오기가 있습니다. 기록이 없는 주장(경험의 감상 등)에는 역추적을 사용할 수 없습니다. 또한, 이전 두 글에서는 작성한 것도 발견한 것도 AI였습니다. AI가 자신의 문장을 점검하면, 다시 읽기만으로는 같은 사각지대가 남을 가능성이 있습니다.

편향을 줄인 것은 다시 읽기가 아니라, 1차 기록을 열어본 점이라고 생각합니다(추론). 같은 기록을 같은 관점으로 본다면, 기록 측의 누락에는 깨닫기 어려울 것입니다.

역추적은 주장 수만큼 공이 들어간다

역추적에서는 주장의 수만큼 기록을 엽니다. 긴 글일수록 노력이 증가하는 한편입니다. 필자의 운영에서는 비교・대비와 자신의 행동 묘사에 국한하여 사용하고 있습니다. 사실 확인 후에 추가하는 과정이라, 만능적인 방법은 아닙니다.

시도해 본다면, 자신의 글에서 숫자・날짜・주체・인과・전칭의 단정적 표현을 5개 골라, 근거의 1차 기록을 하나씩 열어보십시오. 기록보다 강한 부분이 발견되면, 강도를 되찾으세요.

본고 작성에는 AI(Claude)를 활용했습니다. 기록과의 대조 및 공개 판단은 필자가 담당하고 있습니다.

Discussion