AI 감식학의 공개 이론: 관계, 기능, 보류를 감사하는 방법

"같은 단어가 많아서 AI가 쓴 글이라고 생각합니다"

글을 감식하다 보면, 이 판단 사이사이에 몇 가지 확인이 빠져 있다는 것을 깨닫게 됩니다.

같은 단어가 있다. 이것은 원문을 읽으면 확인할 수 있습니다. 반복되는 것이 불필요한지 여부는 그렇습니다. 앞뒤로 내용의 진행 정도를 읽어보지 않으면 알 수 없습니다. AI가 썼다. 여기까지 판단하려면, 제작 과정을 뒷받침하는 증거가 더 필요합니다.

저는 이 간극을 건너뛰지 않기 위한 방법을 'AI 감식학'으로 정리해 왔습니다. 본고에서는 현재의 이론과 감사 설계를 공개할 수 있는 부분을 정리하겠습니다.

핵심은 관계를 단위로 근거를 기록하고, 확인 대기(確認待ち), 기능(機能), 소견(所見) 내의 혼재를 각각 감사할 수 있도록 하는 것입니다.

저자: 쿠로파구 (Blackpug-LLM48P)

원고판: 공개 이론고 v0.2 / 2026년 10월 16일 작성

대응 방법론 원고: 『AI 감식학 v5에서의 관계 단위의 글 감식』 v0.2 (2026년 10월 2일)

1. 무엇을 감식할 것인가

여기서 말하는 글 감식은 제시된 본문과 자료를 읽고, 서술 사이에 성립하는 관계, 그 판단을 뒷받침하는 근거, 판단할 수 없는 범위를 기록하는 작업입니다.

AI 생성 문서를 둘러싼 연구에서 시작되었지만, 인간의 문서에도 적용할 수 있는 관점을 포함합니다. 본문에 논리의 비약이 있다는 것을 발견했기 때문에, 작성자의 종류까지는 결정되지 않습니다.

판단은 다음 세 단계로 나뉩니다.

본문만 읽는 Text Mode에서는 실제 생성 설정, 내부 상태, 작성자의 경험이나 의도 등은 다른 자료가 없으면 확인할 수 없습니다. '추위를 느꼈다'라는 묘사가 있다는 것과, 작성자가 추위를 경험한 것은 별개입니다.

또한, 문서에는 모델, 생성 설정, 제품 측의 지시, 대화 기록, 인간에 의한 편집 등이 관련됩니다. 본고에서 말하는 '지문(指紋)'은 그러한 조건 하에서 관측되는 특징을 의미합니다. 하나의 모델에 유일하게 대응하는 식별자는 아닙니다. 특징이 보이지 않는 경우라도, 그것만으로 AI를 사용하지 않았다고 단정할 수는 없습니다.

문서의 어떤 성질을 측정하고 있는가

'AI 같다'라는 말에는 여러 평가가 담겨 있습니다. 표현 방식에 대한 선호도, 정보량, 사실의 정확성, 작성 과정에 대한 추측 등이 같은 감상으로 나타날 수 있습니다. 감식에서는 평가하고 싶은 성질을 먼저 설정합니다.

예를 들어, 제목이 잘 정리되어 있는 것은 독자가 위치를 찾는 데 도움이 됩니다. 한편, 제목만 다르고 본문이 같은 주장을 반복하고 있다면, 정보 진행에 문제가 있을 수 있습니다. 제목의 정렬과 내용의 정체는 같은 관찰이 아닙니다.

실제 소견에서는 '너무 잘 정리되어 있다'에서 한 단계 나아가, 어느 단락의 무엇이 같고, 비교에 필요한 차이가 어디서 상실되었는지 설명합니다. 그 설명을 할 수 없다면, 현 단계에서는 위화감 기록에 머무릅니다.

문서의 용도 또한 측정 대상의 일부입니다. 작업 절차에서는 반복 확인이 사고를 방지하는 경우가 있고, 단편에서는 같은 설명이 여운을 해칠 수 있습니다. 용도를 지정하지 않고 일률적으로 평가를 내리면, 문서의 기능보다 평가자의 취향을 측정하게 됩니다.

따라서 본고에서는 대상의 용도, 독파 범위, 본문과 보조 자료의 구분을 소견에 앞서는 조건으로 다룹니다. 좋은 문서의 유일한 정의를 두기보다는, 이 소견이 어떤 조건에서 성립하는지를 보여주기 위함입니다.

과정의 가능성을 본문의 결점과 섞지 않기

인간이 초안을 쓰고, AI가 제목을 붙이고, 다른 인간이 사실관계를 고치는 경우도 있습니다. 최종 문서를 하나의 작성자 레이블로 통합하면, 어느 과정에 대해 알고 싶은지가 모호해집니다.

'AI의 개입이 있었는지', '이 구절을 누가 썼는지', '최종 확인을 누가 했는지'는 답하기 위한 증거가 다릅니다. 편집 기록이 남아 있어도, 기록되지 않은 작업까지 알 수는 없습니다. 제출자의 진술은 자료로 남기고, 독립적으로 대조할 수 있는 범위와 구분합니다.

이 방법으로는 작성자의 결론이 보류되어도, 본문의 검토는 진행될 수 있습니다. 숫자의 대상이 도중에 바뀌고 있다거나, 인용에서 결론이 확장되고 있다는 같은 관계는 각각의 근거에 기반하여 기록할 수 있습니다. 과정이 모른다는 이유로, 확인할 수 있는 본문의 관계까지 지울 필요는 없습니다.

2. 단어에서 '관계'로, 관찰의 단위를 옮기다

예를 들어, 두 개의 자료에 '12건'과 '15건'이 쓰여 있었다고 합시다.

숫자를 감지하는 것만으로는 쉽습니다. 하지만 이것을 건수상의 모순이라고 부르려면, 두 값이 무엇을 센 값인지 확인할 필요가 있습니다. 다른 날의 집계, 접수된 수와 처리된 수, 인원과 신청 건수라면, 서로 다른 숫자가 공존할 수 있습니다.

따라서, 소견(所見)을 뒷받침하는 관계를 다음 쌍으로 정리합니다.

본문층(本文層)도 중요합니다.

“문에는 열쇠가 걸려 있었다”고 그녀는 대답했다.

그가 손잡이를 당기자, 문은 그대로 열렸다.

이 두 문장에는 발언과 묘사의 차이가 있습니다. 하지만 인물의 발언을 작품이 보증한 사실로 취급할 수는 없습니다. 인물의 오인이나 허위일 가능성을 검토하면서도, 본문에 없는 동기나 배경 설정을 추가하여 해결하지 않습니다. 어떤 층의 무엇과 무엇이 차이가 나는지를 남겨둡니다.

본고의 인용 예시는 모두 설명을 위해 작성한 합성 예시입니다. 특정 모델의 출력이나 실제 성능 시험이 아닙니다.

네 가지 면(四面)은 관계를 찾는 입구가 됩니다

v5에서는 문장의 관찰을 다음 네 가지 면으로 정리했습니다.

같은 건수 불일치가 R과 E에 관련된다고 해도, 독립적인 증거가 두 개 얻어진 것은 아닙니다. 같은 근거에는 공통의 소견 ID를 붙여 참조처를 추적할 수 있게 합니다.

네 가지 면을 구체적인 읽기로 내리는 방법

S면에서는 반복된 형태와 정보의 진행을 대조합니다. “편리하다”, “사용하기 쉽다”, “이용하기 쉽다”라고 세 번 말해도, 이용 장면이나 제약이 추가되지 않는다면, 바꿔 말함으로써 양을 늘린 해석을 검토할 수 있습니다. 비교표의 각 행이 같은 구문인 것은, 차이를 보기 쉽게 하기 위함일 수 있습니다.

C면에서는 결론의 사정거리(射程)를 읽습니다. 한 매장의 개선 사례에서 “모든 업계에 유효하다”라고 닫았다면, 선행하는 증거가 일반화를 뒷받침하는지 조사합니다. 이야기 속에서는 밝은 결말 자체를 의심하지 않고, 인물의 선택이나 사건과 연결되는지를 읽습니다. 회수되지 않은 소품도, 단순히 누락인지, 인물의 주의 편향을 나타내는지 여부는 본문 전체에 의해 달라집니다.

R면에서는 전환의 조건을 확인합니다. 서술자가 바뀌는 장에서 문체가 변하는 것과, 같은 설명자가 같은 대상을 다루는 도중에 정의가 바뀌는 것을 구분합니다. 원문에 남아 있는 서식 기호에 대해서도, 제출 형식과 용도를 확인하여 적절 여부를 판단합니다.

E면에서는 주장과 자료의 대응을 읽습니다. 자료명이 있다는 것, 자료를 획득했다는 것, 자료가 그 주장을 뒷받침하는 것은 다릅니다. 외부 자료가 제시되지 않은 경우는 미대조로 남기고, 본문 내에서 확인할 수 있는 수량의 불일치가 있다면, 그것은 다른 관계로 기록합니다.

이러한 관찰들은 서로 관련됩니다. 하나의 일반화가 C면과 E면에 나타나기도 합니다. 여러 좌표로 기술할 수 있다는 것과, 증거가 늘어났다는 것을 구분하기 위해, 관계와 소견의 대응이 필요합니다.

“중심적인 문장이므로 AI”라는 설명 처리

AI 생성 문장을 “확률 분포의 중심을 지나는 문장”이라고 설명하면, 직관적으로 이해하기 쉬게 들립니다. 하지만 그 표현만으로는 무엇을 계산했고, 어떤 집합과 비교했는지가 정해지지 않습니다.

빈번한 단어의 비율, 같은 구문의 반복, 임베딩 공간에서의 거리, 문서 내 정보 밀도는 각각 다른 양입니다. 어떤 의미에서 중심에 가깝다는 것만으로, 다른 의미에서의 동질성이나 특정 작가를 직접적으로 이끌어낼 수는 없습니다.

자기회귀 모델(self-regressive model)에 대해, 입력을

이것은 확률의 분해입니다. 각 위치에서 최대 확률 후보를 선택한다고 해서, 전체 시퀀스도 최대 확률이 된다는 의미가 아닙니다.

설명을 위해, 2단계로 반드시 종료되는 분포를 가정합니다. 첫 번째 후보를 A가 0.6, B가 0.4라고 하고, A 다음에서는 x가 0.51, y가 0.49, B 다음에서는 x가 0.99, y가 0.01이라고 합시다. 국소적 최대(local maximum)를 선택하면 Ax가 되고, 그 확률은 0.306입니다. 하지만 Bx는 0.396이 됩니다. 국소적인 최대 선택과, 시퀀스 전체의 최대 확률은 일치하지 않습니다.

이 반례는 실제 모델 측정치가 아니라, 국소에서 전체로의 논증을 점검하기 위한 것입니다. Holtzman 등의 연구는 같은 모델이라도 디코딩 방식에 따라 생성 문장이 달라지는 것을 검토합니다[5]. 그것을 모든 문장 특징의 원인이 디코딩으로 설명될 수 있다는 주장으로 확대하지 않습니다.

또한, 정보 이론의 전형성(typicality)과 독자가 '흔하다'고 느끼는 것은 같지 않습니다. Meister 등의 국소적 전형성은 조건부 분포의 정보량에 관한 개념입니다[6]. 본고에서는 전형 집합을 '평범한 문장들의 집합'으로 읽어내지 않습니다.

문체상의 인상에서 측정으로 나아가려면, 대상을 비교군으로 정하고 어떤 양이 어떻게 변할지 보여줘야 합니다. 수학 용어를 사용했다고 해서 그 다리 놓기가 끝난 것은 아닙니다.

3. 핵심 설계①: '확인 대기'를 감사하기

'정보가 부족하여 판단을 보류합니다.'

잘못된 단언을 피하는 데는 필요한 답변입니다. 다만, 이 문장만으로는 무엇이 알게 되면 다음 단계로 나아갈 수 있는지에 대한 내용이 빠져 있습니다.

방법론 초안에서는 구체적인 확인 대기 사항을 PEND로 기록할 때, 다음 세 가지 조건을 요구합니다.

• 판단 대상이 되는 동일한 관계를 필요한 원문 인용으로 특정한다.
• 판단에 부족한 자료나 확인 사항을 구체적으로 명시한다.
• 확인 결과에 따라 판단이 어떻게 변하는지 보여준다.

앞서의 수치로 생각해 보겠습니다.

접수 목록에는 '대상 신청은 12건'이라고 되어 있습니다.

집계 보고에는 '대상 신청은 15건'이라고 되어 있습니다.

인용만으로는 같은 시점의 같은 신청 집합인지 알 수 없습니다. 확인 대기로 남기려면, 예를 들어 이렇게 작성합니다.

양 자료의 집계 시각과 대상 신청의 추가/취소 이력을 필요로 합니다. 동일한 집합을 같은 시점에 센 총수라면 불일치입니다. 집계 사이에 3건이 추가되었다고 확인할 수 있다면, 이 차이는 양립할 수 있습니다.

무엇을 비교하고, 무엇이 부족하며, 확인 후에 어떻게 나뉘는지 알 수 있습니다.

자료의 입수 가능성은 별도로 기록합니다. 입수할 수 없는 자료라도, 무엇이 판단을 방해하는지는 설명할 수 있습니다. '확인 대기를 구체화할 수 있었던 비율'과 '실제로 확인을 완료한 비율'은 나누어 평가합니다.

또한, 이 PEND는 감식관의 출력을 감사할 때의 구분입니다. 문장 내의 불확실성을 모두 하나의 라벨로 표현하는 것은 아닙니다.

보류 이유를 한 상자에 담지 않기

판단할 수 없는 사정에도 차이가 있습니다. 본문을 아직 읽지 않은 경우, 필요한 자료가 제시되지 않은 경우, 읽어도 여러 해석이 남는 경우라면, 다음에 할 확인이 달라집니다.

공개 방법론 초안에서는 항목의 상태를 다음과 같이 구분하고 있습니다. 이는 개념상의 정리이며, 제품의 상세한 분기 순서를 보여준 것은 아닙니다.

'대상 아님(対象外)'에도 근거가 필요합니다. 문제가 발견되지 않았다는 이유만으로 대상 아님으로 하면, 평가의 분모가 바뀝니다. 본문의 용도나 대상의 존재를 확인하고, 무엇을 제외했는지를 남겨야 합니다.

하나의 항목에 확정된 의혹이 있고, 다른 범위에는 미확인이 남아 있을 수도 있습니다. 대표적인 상태뿐만 아니라 미확인 범위를 유지하는 것은 그 때문입니다. 보류 항목의 수가 적다는 것만으로 모두 조사했다고 말할 수는 없습니다.

확인 후에는 판단을 실제로 업데이트하기

앞서의 접수 자료에, 같은 집계 대상과 기준을 사용해 집계 시각 사이에 3건이 추가되었다는 기록이 도착했다고 가정합니다. 그 범위에서 수치 차이를 설명할 수 있다면, 최초의 확인 대기는 해소될 수 있습니다.

업데이트할 때는, 최초의 인용과 보류 이유, 추가된 자료, 업데이트 후의 판단을 연결해야 합니다. '새로운 자료를 보니 문제가 없게 되었다'만으로는, 무엇이 바뀌었는지 제3자가 추적할 수 없습니다.

반대로, 대상 집합이 다르다는 것이 밝혀졌다면, 단순한 건수 불일치라는 비교 자체를 수정해야 합니다. 추가 자료를 최초의 예상을 지키기 위해 사용하지 않고, 비교 조건을 재검토하는 근거로 다룹니다.

4. 핵심 설계②: '작동함'을 적극적으로 남기기

문제가 발견되지 않은 것과, 어떤 표현의 작용을 확인한 것은 증거의 내용이 다릅니다.

처음으로 단말기를 만져보는 딸에게 아버지는 '여기를 누른다'고 가르쳤습니다.

10년 후, 창구 기계에 당황하는 아버지에게 딸은 '여기를 누른다'고 가르쳤습니다.

같은 대사가 두 번 있습니다. 그러나 가르치는 쪽과 배우는 쪽이 바뀌었습니다. 반복이 인물 관계의 변화를 보여준다는 해석을, 양 장면의 행동으로부터 지지할 수 있습니다.

여기서는 '반복이 있다'는 관찰에 더해, '반복이 작용하고 있다'는 소견을 남깁니다.

단순히 의혹이 발견되지 않은 경우는 그 확인 범위를 기록합니다. 기능을 인정하는 경우는 무엇이 어떻게 작동하는지 근거를 가지고 보여줍니다. 둘 다 '문제없음'이라는 한마디로 덮어버리면, 나중에 확인할 수 있는 내용이 줄어듭니다.

기능의 기록은 면제권이 아닙니다. 어떤 반복(repetition)이 기능하고 있더라도, 다른 단락에 근거 없는 일반화가 있다면 그 관계는 별도로 조사합니다. 반대로, 다른 의혹이 있다고 해서 확인된 기능을 지우지는 않습니다.

이러한 구분을 둠으로써, 문제 지점만 포착하는 평가에서 본문의 작용까지 보존하는 평가로 확장할 수 있습니다.

기능 설명에도 근거의 부담이 있다

'이것은 문학적인 표현이라서'라는 설명만으로는 반복의 기능을 보여준 것이 되지 못합니다. 화자의 교대, 행동의 변화, 앞뒤의 대조 등 본문의 어디에서 그 작용을 읽었는지 필요합니다.

반대로, 기능이 일의적으로 결정되지 않는 글도 있습니다. 인물의 버릇으로 작용하고 있다고도 설명될 수 있고, 설명이 중복되고 있다고도 해석될 경우, 작품에 없는 의도를 보충하여 한쪽으로 확정할 필요는 없습니다. 해석의 분기점과, 그 분기를 낳은 근거를 남길 수 있습니다.

이러한 생각은 소설 외에서도 사용 가능합니다. 운용 절차에서 같은 주의사항을 여러 곳에 배치하는 경우, 작업자가 각 공정만 참조하도록 설계되었다면 재게시(re-listing)에 의미가 있습니다. 전문 전체를 순서대로 읽는 교재에서는 장황할 수 있지만, 도중에 참조되는 매뉴얼에서는 필요할 수도 있습니다. 문서의 사용 방식을 확인한 후 판단합니다.

또한, 기능이 있다는 것과 표현이 최적이라는 것은 별개입니다. 비교에 도움이 되는 표가 있어도, 열 이름을 바꾸는 것이 더 읽기 쉬울 때가 있습니다. 감식소견으로 확인한 작용과 편집상의 개선 제안을 대응시키면, 무엇을 보존하면서 고칠지가 명확해집니다.

노이즈를 인간의 증명으로 변환하지 않는다

탈선(digression), 오자(typo), 설명되지 않은 기억, 신체 감각의 세밀한 부분은 글을 읽는 데 흥미로운 관찰 대상입니다. 하지만 그것만 있다고 해서 인간 집필의 증명이 되지는 않습니다.

작품 속에서 회수되지 않는 세부 사항이 있는 경우, 먼저 그 세부 사항이 인물의 시각이나 장면의 시간에 어떻게 관련되는지를 읽습니다. 단순히 'AI라면 낭비를 제거했을 것'이라고 생각하여 작가에게 귀속시키면, 검증해야 할 가설을 전제로서 사용하게 됩니다.

마찬가지로, 오자나 탈선을 추가해서 낮은 의혹 표시를 얻더라도, 그 글의 출처가 바뀌는 것은 아닙니다. 감식 지식을 퇴고에 사용하려면, 경험스러움을 조작하는 것이 아니라 중복, 조건의 차이, 근거 부족과 같은 소견에 대응하는 변경을 합니다.

5. 중심 설계③: 하나의 소견에 담긴 주장을 분리하기

근거 기반의 평가라 할지라도, 하나의 소견 안에 타당한 지적과 근거 없는 설명이 섞일 수 있습니다.

같은 대상・같은 시점의 총수가 12건과 15건으로 차이가 난 것을 확인했다고 가정해 봅시다. 이때 감식관이 다음과 같이 보고했습니다.

'건수가 일치하지 않는다. 종이에 관리한 것이 원인이다.'

전반부의 건수 불일치는 지지할 수 있지만, 후반부의 원인은 제시된 자료만으로는 지지하기 어려울 수 있습니다.

소견 전체를 '옳다'고 하면, 원인의 비약이 숨겨집니다. 전체를 '틀리다'고 하면, 확인된 불일치까지 잃게 됩니다.

그래서 부모의 소견을 유지한 채, 주장을 분리하여 기록합니다.

주장의 위치와 대응하는 근거를 남기면, 제3자는 어디까지를 인정하고 어디부터를 보류/수정했는지 추적할 수 있습니다.

다만, 분리되어 발견된 주장 수를 그대로 독립적인 검체 수로 환산해서는 안 됩니다. 항목 수, 소견 수, 관계 수, 주장 수, 독립된 작품・작가 수를 구별해야 합니다.

방법론 원고에서는 이 혼재를 기록하는 '주장 보조표'를 설계하고 있습니다. 반면, 혼재 소견을 최종적인 성능 집계에서 어떻게 채점할지는 미결 사항이 남아있습니다. 혼재를 가시화할 수 있다는 것과, 채점 방침이 결정된 것은 별개의 도달점입니다.

지지 불가능한 주장이 곧바로 거짓은 아니다

원인을 뒷받침하는 자료가 없다는 이유로 '종이 관리가 원인이 아니다'라고 확정할 수도 없습니다. 여기서 확인할 수 있는 것은, 제시된 자료가 그 원인 주장을 지탱하고 있지 않다는 것입니다.

부정하는 증거가 있는 경우와, 지지하는 증거가 부족한 경우를 나눕니다. 예를 들어, 실제로는 전자 입력 시점에서 건수가 틀어진 기록이 있다면, 종이 관리를 원인으로 하는 설명에 대한 반대 증거가 될 수 있습니다. 아무 자료가 없다면, 원인은 미확인으로 남습니다.

이 차이는 감식관의 평가에도 관련됩니다. '지지 불가능한 소견'만 모으는 것만으로는, 잘못된 단정과 자료 부족으로 확인할 수 없는 설명이 섞일 수 있습니다. 참조 자료의 범위와, 판단의 이유를 함께 보고해야 합니다.

같은 사건을 여러 번 세지 않는다

하나의 모순이 두 개의 항목에 대응하고, 두 명의 평가자가 각각 지적했다고 가정해 봅시다. 기록은 네 개가 되어도, 본문에 네 개의 독립적인 모순이 있었다는 것은 아닙니다.

비교 목적에 따라 항목 적용 수, 소견 수, 관계 수, 평가자 수를 각각 따로 제시합니다. 평가자 간 일치도를 조사하려면 같은 대상에 대한 판단의 대응이 필요합니다. 각기 다른 작품을 한 명씩 평가한 결과로는 동일 자료에 대한 일치를 계산할 수 없습니다.

또한, 긴 소견을 세분화하면 주장 수는 늘어납니다. 분할된 주장 수를 분모로 하여 성능 지표를 재작성하면, 문장 작성 방식에 따라 평가 단위가 변동될 우려가 있습니다. 주장 보조표는 원 소견과의 대응 관계를 유지하고 숨겨진 혼재(混在)를 조사하는 데 사용합니다.

향후 혼재 채점 방법을 결정한다면, 어떤 단위를 채택할지, 부분적인 지지를 어떻게 처리할지, 해석 분기를 어떻게 남길지를 결과가 나오기 전에 정해야 합니다. 현 단계에서는 그 판단이 미결이라는 점도 공개해야 할 대상입니다.

6. 감식관을 '동일 장치'로 비교할 수 있는가

여기서 감식관이라고 부르는 것은 규약에 따라 소견을 내는 평가 주체를 말합니다. LLM(대규모 언어 모델)을 사용하는 경우에도 그 출력을 감사 대상에 포함합니다.

프롬프트의 문장이 같더라도, 실행하는 모델, 추론 설정, 제시 자료, 표시 형식 등이 바뀌면 판단이 달라질 가능성이 있습니다.

따라서 감식 장치를 다음 조합으로 기록합니다.

규약 버전만 기록하고, 모델이나 자료 제시 방식이 다른 결과를 동일 조건의 반복으로 계산하지 않도록 합니다. 불분명한 설정은 불분명한 상태로 남겨둡니다.

더 나아가 검증 대상도 분리합니다.

향후 평가에서는 개발 시 사용한 원고와 미지의 원고를 분리하고, 같은 저자・같은 작품에서 파생된 예를 고려할 필요가 있습니다. 모델의 답변을 서로 보여주며 일치시킨 결과를 독립적인 주석자 간 일치도라고 부르지 않습니다.

원문, 운송 후 문자열, 화면 표시를 구별하기

평가 대상은 수령한 순간부터 바뀔 수 있습니다. PDF 추출, OCR(광학 문자 인식), 복사, Markdown 렌더링, 줄바꿈 정규화 등이 문체나 서식의 보이기에 영향을 미칩니다.

원래 PDF에서는 단문으로 되어 있던 글이, 추출 후에는 다른 단락과 번갈아 배치될 수 있습니다. 그 연결의 부자연스러움을 저자나 생성 모델의 특징으로 다루려면, 먼저 운송 경로를 확인해야 합니다.

따라서 원 자료, 평가에 넘긴 문자열, 실제로 본 표시를 대응시킵니다. 원문의 오탈자를 수정하여 인용하면, 평가했던 특징이 보존물에서 사라질 수 있습니다. 정정이나 정규화를 수행할 경우에는 처리 전후와 이유를 남깁니다.

해시(hash)는 같은 바이트열인지 대조하는 수단입니다. 다만, 해시가 일치한다는 것이 내용이 정확하거나 그 문장의 저자를 증명하지 않습니다. 증명할 수 있는 범위를 넘어서는 의미를 부여하지 않도록 합니다.

보존된 것과 일이 끝난 것

실행 보고서를 다룰 때는 의뢰, 조작, 툴 응답, 대상의 상태, 최종 보고를 대조합니다. 예를 들어, 파일 A의 저장 성공을 파일 B의 완성 보고에 사용할 수는 없습니다. 대상, 시도, 시점의 대응이 필요합니다.

툴로부터 성공이 돌아와도, 내용이나 표시가 의뢰에 맞는지 여부는 별도로 확인합니다. 반대로, 제시된 부분 로그에서 조작을 찾지 못했다고 해서 '조작하지 않았다'고 단정할 수도 없습니다. 이력(history)의 획득 범위가 완전한지 확인할 필요가 있습니다.

'검증했습니다'라는 보고도 무엇을 검증했는지에 따라 의미가 달라집니다. 구문 검사, 인용 일치, 표시 확인, 의미 판단을 통틀어 '검증 완료'라고 하면, 독자가 확인된 범위를 과대하게 받아들일 수 있습니다.

감식에서는 '완료'라는 단어를 금지하기보다는, 어떤 완료를, 어떤 증거로 지탱하는지를 명시합니다. 대상이 명확하다면, 실패나 보류도 다음 작업으로 연결할 수 있습니다.

평가 결과를 비교하기 전에 입력을 맞추기

같은 원고라도, 한쪽 평가자에게는 전문과 자료를 주고 다른 쪽에는 발췌만 주었다면, 결과 차이를 모델 능력에만 귀속시킬 수 없습니다. 필요한 정보를 볼 수 있었는지라는 조건 차이가 남습니다.

비교에서는 입력의 범위, 보조 자료, 모델 버전, 설정, 대화 이력, 규약 버전을 기록합니다. 추론 설정을 얻을 수 없다면, 그 조건은 미확인임을 명기합니다. 식별명이 같더라도 제품 면이 다르면 동일 장치라고 단정하지 않습니다.

제시 순서나 과거 답변과의 접촉에도 주의가 필요합니다. 첫 번째 평가를 보여준 후에 다른 모델에게 동의를 구하는 작업은 독립 평가와는 다릅니다. 반증이나 리뷰로서 가치는 있지만, 평가자 간 일치도와 같은 의미로 건수를 집계하지 않습니다.

7. 기존 연구와의 관계 및 본고의 제안 범위

문장의 관계나 기능을 분석하는 발상은 이미 축적되어 있습니다.

Rhetorical Structure Theory에서는 문장 부분 간의 관계를 정의합니다[1]. Stab과 Gurevych는 논증 요소와 그 관계를 분석하는 방법을 제시했습니다[2]. 본고가 '문장의 관계를 보는 것' 자체를 처음 제안한 것은 아닙니다.

LLM을 평가자로 사용하는 연구에서는 위치, 길이, 자기 평가 등에 관한 편향이 검토되었습니다[3]. 감식관의 소견 역시 인용이 붙어 있다는 이유만으로 정답으로 취급될 수 없습니다.

판단 보류에 대해서는 예측 범위와 오류를 다루는 선택적 분류 연구가 있습니다[4]. 본고의 PEND는 확인에 필요한 자료와 판단 분기를 기록하는 규약입니다. 이는 동 연구의 리스크 보장을 본고의 문장 판단에 적용한 것이 아닙니다.

본고에서 제시하는 것은, 이 모든 것과 연결하면서 다음 설계를 문장 감식 운영에 구체화하는 방법입니다.

• 소견을 근거 범위・비교 조건・본문층・미확인 범위와 연결합니다.
• 확인 대기(Confirmation Pending)를 관계 특정・필요 자료・판단 분기를 통해 감사합니다.
• 기능을 의혹 미검출과는 다른 적극적인 소견으로 보존합니다.
• 하나의 소견에 포함된 지지・비지지・보류를 주장별로 추적할 수 있게 합니다.

이러한 조합들에 대해, 감사 가능한 방법으로서 제안합니다. 포괄적인 선행 연구 조사에 의해 모든 요소의 신규성을 확정했다고 주장하는 것은 아닙니다.

AI 탐지 연구를 어떻게 참조할 것인가

Sadasivan 등은 대상이 된 탐지 방식의 견고성을 바꿔 말하는 등의 방식으로 검토하고, 인간문과 AI문의 분포 거리와 관련된 이론적 제약도 다루었습니다[7]. Liang 등은 검토한 영어 탐지기로 비모국어 화자의 작문이 오판되는 문제를 보고했습니다[8].

이를 통해 본고의 모든 주장이 증명되는 것은 아닙니다. 또한, 특정 조건의 한계를 '어떤 조건에서도 탐지가 불가능하다'는 결론으로 확장하지 않습니다. 여기서 참조하는 것은 대상 분포, 편집, 사용 언어, 평가 조건을 제외한 성능의 전이 가능성이 취약하다는 논점입니다.

어떤 분류기가 평가 집합에서 높은 성적을 보였다면, 그 결과는 대상 조건에서의 중요한 증거입니다. 한편, 그 값을 한국어 임의 문장에 대해 'AI가 작성했을 확률'로 사용할 수 있는지는 별도로 검증이 필요합니다. 분류 성능과 개별 문서의 과정 귀속(process attribution), 본문 내 관계 판단을 같은 수치에 섞지 않도록 합니다.

기존 연구와 이번에 구체화하는 부분

같은 문제의식을 가진 연구나 구현체가 존재한다는 것은 방법을 구체화하는 데 있어 비교할 기회가 됩니다. 차이를 보여줄 때는 '신중하게 판단한다' 같은 표어보다는, 무엇을 입력으로 삼고, 무엇을 한 건으로 세우며, 어떤 출력이면 제3자가 확인할 수 있는지를 비교합니다.

본고의 공헌 주장은 그 단위로 한정합니다. 확인 대기 세 가지 조건, 적극적인 기능 소견, 소견 내 혼재라는 설계를 같은 증거 기록에 연결하는 제안입니다. 개별 개념 모두에 대해 기원을 주장하는 것은 아닙니다.

8. 현재의 도달점과 앞으로 확인할 것

본고는 2026년 10월 2일자 방법론 원고 v0.2를 기반으로, 공개 가능한 정의와 감사 설계를 정리한 것입니다.

해당 원고에서는 규약과 연구 소프트웨어의 검증을 보고했으며, 평가용 실 모델 실행은 0건으로 기록했습니다. 이는 해당 원고의 대상 및 시점에서의 실시 상황입니다. 이후 별도의 작업까지 일괄적으로 미실시로 기술하는 것은 아닙니다.

여기서 공개하는 설계가 문장 판단을 어느 정도 개선할 수 있는지는 독립적인 인간 참조와 미지 자료에 의한 평가가 필요합니다. 특정 모델의 고유 지문, AI 생성 확률, 저자 식별 성능을 이 설계만으로 보장하지 않습니다.

예를 들어, 다음 결과가 나오면 방법이나 규약을 재검토할 이유가 됩니다.

• 같은 자료와 규약임에도 관계 대응이나 기능 판단이 안정적이지 않다.
• 보류 기록이 구체화되어도 이후 확인이나 판단 업데이트에 도움이 되지 않는다.
• 주장을 분리해도 지지와 비지지의 혼재를 제3자가 추적할 수 없다.
• 문체 특징이 인간문과 AI문에서 비슷한 정도로 나타나, 대상 조건에서 과정을 구분할 근거가 되지 못한다.

수정 시에는 최초 기록을 남기고, 추가 자료, 규칙 적용 오류, 새로운 판단을 대응시킵니다. 수치가 변하지 않아도, 근거나 보류 이유가 바뀌면 실질적인 업데이트로 기록합니다.

정의, 설계, 가설, 결과를 분리하여 읽을 수 있게 하기

이론을 공개할 때는 문장의 역할을 구별해야 합니다. 용어의 정의, 방법으로 채택하는 설계, 효과에 대한 가설, 측정하여 얻은 결과는 같은 확실성을 가지지 않습니다.

공개하는 주장은 대응하는 버전과 근거를 붙입니다. 가설을 나중에 채택된 사실로 변경하는 경우에는 그 판단을 바꾼 증거를 개정 이력에 남깁니다. 새로운 원고를 이전 작성일에 그대로 겹쳐 처리하지도 않습니다.

평가 계획에서 미리 정하고 싶은 것들

첫째, 정답이나 참조 자료의 만드는 방법입니다. 문장의 기능은 단순한 사실 대조만으로는 결정되지 않을 때가 있습니다. 독립적인 주석자가 서로의 판단이나 모델 출력을 보기 전에 관계를 기록하고, 의견이 갈린 부분은 재정(裁定)과 분기(分岐)를 남겨야 합니다. 다수결만으로 해석의 진값(真値)을 얻었다고 할 수 없습니다.

둘째, 비교의 단위입니다. 같은 저자의 글, 같은 작품의 개작, 같은 지시에서 얻은 복수의 답변에는 의존성이 있을 수 있습니다. 표시된 답변 수를 그대로 독립적인 시험 수로 변환하지 않습니다. 학습 및 개발에 사용한 작품의 파생본이 평가 측으로 들어오지 않도록 분할의 기준을 정합니다.

셋째, 실패나 결측값의 처리입니다. 미출력, 형식 부적절, 미감사, 의미 판단 오류를 모두 같은 실패로 묶으면 원인이 알기 어려워집니다. 한편, 불리한 시도들만 제외하면 평가가 낙관적으로 됩니다. 예정 수, 취득 수, 평가 가능 수를 대응시키고, 제외 이유를 남깁니다.