유사도 2%인데 AI 작성률이 21%인 경우: 두 독립적인 질문을 혼합하지 않는 읽기 방법

Charles Li / HumanPen

리포트를 열면, 나란히 놓인 두 숫자가 모순되는 것처럼 보일 때가 있다. 유사도(Similarity)가 약 2%이고 AI 작성률이 약 21%인 경우다. 전자는 '안심할 만한 자료'로, 후자는 '문제'로 보인다. 어느 쪽이 맞는 것인지, 낮은 유사도가 AI 측을 상쇄하는 것인지—그 질문 자체가 두 개의 독립적인 시스템을 하나의 결론으로 몰아넣고 있다.

본고는 그 쌍을 어떻게 읽어낼지에 대한 기술 메모이다. 신뢰도 밴드(옅은 하이라이트 = 불확실성)에 대한 이야기도 아니고, LMS 배지와 다운로드 PDF의 커버리지 불일치에 대한 이야기도 아니다. 점수를 보장하지 않으며, 탐지를 빠져나갈 절차도 아니다. 영어 프로그램으로 AI Writing Report를 읽는 사람들을 위한 리포트 리터러시(report literacy)의 한 단면이다.

제품 문서상에서 Similarity와 AI writing detection은 completely independent(완전히 독립적)하다고 설명되어 왔다. 한쪽이 다른 쪽에 입력되는 일은 없다. 같은 화면에 나란히 놓이는 것은 UI상의 배치일 뿐, 공유된 수식이 아니다.

유사도는 '어딘가에서 본 문구인가'를 묻는다. AI 판정은 '이 산문이 모델의 AI 카테와 유사한가'를 묻는다. 둘 다 '이 학생이 부정행위를 했는가'는 아니다. 그 판단은 코스 규칙과, 그것을 적용하는 사람에게 달려 있다.

따라서 데이터베이스상 거의 매치되지 않았더라도(유사도 ≈2%) AI 측에서 20%대를 보이는 것은 일어날 수 있다. 새로 작성된 문구는 색인화된 소스에 실려 있지 않은 경우가 많다. AI 분류기는 소스 대조를 하고 있는 것이 아니라—산문을 분류하고 있다. 역도 마찬가지로, 유사도가 높아도 AI 사용의 증거가 되지는 않는다. 축은 양방향으로 독립적이다.

Turnitin 계열의 AI 표시에서는 오독을 줄이기 위한 표시 규칙이 있다. 0% 초과・20% 미만 구간은 구체적인 퍼센트와 하이라이트를 보여주지 않고, 별표("*%")로 표시한다고 설명되어 왔다. 추정이 임계값을 넘어서야 비로소 숫자와 하이라이트가 나란히 놓인다.

*%

에서 20%대 초반으로 '튀어 오른' 것처럼 보이는 것은 가시성의 규칙일 뿐, '갑자기 죄가 두 배가 된' 증거가 아니다. 그보다 낮은 추정치는 *% 상태로 숨겨져 있었다. 21%는 '그 설계상 처음 보이는 숫자'—리포트를 열고 부분을 볼 신호이며, 확정 판결이 아니다.

FAQ 계열의 문구에서도 AI 지표를 처벌이나 성적의 유일한 근거로 삼아서는 안 된다고 쓰여 왔다. 숫자의 옆에 그 틀을 두고 나서 교사와 이야기한다. 그룹 채팅방에

영어 프로그램의 Slack / LINE / WhatsApp에서 다음 네 가지 패턴이 반복된다.

"유사도가 낮으니까 AI는 오탐지야"

유사도는 대조(照合)를 한다. AI는 분류한다. 낮은 유사도는 '미매치'라고 말할 뿐, 분류 결과를 반증하지 않는다. -
"AI가 높으니까 복붙한 거야"

AI 하이라이트는 출처명을 가리키지 않는다. 출처 대조가 필요하다면 Similarity 쪽을 열어야 한다. 혼동하면 인용된 올바른 단락까지 '표절' 취급을 받게 된다. -
"다시 말해 둘 다 낮아져야 해"

오버랩(Overlap)을 줄이는 편집이 AI 같은 확률 패턴을 남기거나 높일 수도 있다. 목표가 다르다. Similarity용으로의 재작성과 AI 플래그 산문 작성은 별개의 편집 경로이다. -
"두 숫자를 더해서 심각도를 측정해야 해"

2 + 21 = 23처럼 더하는 것에 의미는 없다. 분모도 사정도 다르다. 나란히 읽을 뿐, 합성하지 않는다.

이것들은 '악의'가 아니라, 같은 화면에 두 개의 위젯이 있기 때문에 발생하는 인지적 지름길이다. 리터러시의 역할은 그 지름길을 풀어내는 것이다.

유용한 해석 (낮은 유사도 + 가시 AI):

• 문언이 데이터베이스상 거의 미매치여도, 채점 대상 산문의 일부는 분류기(Classifier)에게 기계 생성된 학술 영어로 보일 수 있다.
• 정중하고 균일한 인간의 글도 모델이 AI와 연결 짓는 통계적 근접 영역에 들어갈 수 있다.
• 대처의 단위는 '하이라이트된 부분'이며, '문서 전체가 부정확하다'라는 이야기가 아니다.

쓸모없는 해석:

• "유사도 2%라면 AI 점수는 틀린 거야"
• "AI 21%라면 복사한 게 분명해"
• "다음 제출에서 반드시 두 자릿수 내려갈 거야"—예측 게임은 리포트 리터러시가 아니다.

손에 두 개의 숫자 스크린샷밖에 없다면, 완벽한 AI Writing Report (출처의 의심도 있다면 Similarity도)를 요구해야 한다. 부분/리포트 일시/설정 없이 숫자로만 존재하는 것은 패닉에도 변호에도 취약하다.

교사에게 가져가기 전에 다음을 갖추라.

커버리지(포털과 PDF 지도의 차이)나 희미한 하이라이트(신뢰도)는 중요하지만, 본고의 주제가 아니다. 오늘의 작업 영역은 '두 퍼센트를 섞지 않는 것'에만 집중한다.

편집 여지가 있다면 단위는 '부분'이다.

• 가능하다면 AI Writing Report 전문(PDF)을 연다.
• 하이라이트된 연속 산문만 다시 작성한다.
• 인용・표・정확한 숫자・서지 정보는 건드리지 않는다 (Similarity용 별 작업).
• 초안과 시간을 남긴다.
• '다음 점수'를 예측하며 작업하지 않는다.

Similarity 리포트를 AI 리포트 대신 사용하지 마라. 역도 마찬가지다. 같은 제출물이라도, 고쳐야 할 작업 영역이 다르다.

HumanPen(https://humanpen.net)은 AI Writing Report를 읽어 들여, 표시된 부분 단위로 재작성하고, 체격과 인용을 유지하는 흐름을 설계하고 있다. 점수 보장은 하지 않는다. '오탐지', 'undetectable' 같은 약속도 없다.

Similarity ≈2% and AI writing ≈21% can both be right: they answer different questions with different denominators. Do not add them. Open the full AI Writing Report, edit highlighted qualifying prose first, and keep citations/tables intact. No score promises. (This note is about the two-system split—not confidence bands, not portal-vs-PDF coverage.)

나란히 놓인 두 퍼센트는 하나의 이야기가 아니다. 유사도는 대조이고, AI 비율은 분류다. 분모와 표시 규칙을 맞춘 후에 이야기해야 한다. 그것이 리포트 리터러시의 출발점이며, HumanPen이 상정하는 읽기 방식이기도 하다.