구조만으로 AI 생성 웹 콘텐츠 감지: SlopShape의 지문 인식 아키텍처

AI가 생성한 마케팅 콘텐츠는 어디에나 있습니다. 문제는 품질이 아닙니다. 문제는 동질성입니다. 다섯 개의 최첨단 모델이 2,250개의 인간 블로그 게시물을 다시 작성할 때, 그들은 분류기가 단어 하나를 읽지 않고도 97.0%의 macro-F1로 식별할 수 있을 만큼 일관된 구조적 지문을 공유하는 페이지를 생성합니다.

Sitefire (YC W26)의 논문인 SlopShape은 AI가 생성한 상업용 웹 콘텐츠가 오직 구조적 신호만으로 감지될 수 있음을 보여줍니다. 즉, 정보가 어떤 순서로, 어떤 증거와 함께, 어떤 목소리로 제시되는가입니다. 이것은 단어 수준의 탐지기가 아닙니다. 그것은 형태(shape)를 탐지하는 것입니다. 그리고 모든 AI 게시물이 자체 모델에 의해 재작성될 때조차 작동합니다.

구조가 단어를 이기는 이유

단어 수준 탐지기는 편집되지 않은 AI 텍스트를 거의 완벽하게 식별합니다. 그러나 재작성을 거치면 무너집니다. 같은 모델을 한 번만 통과시키기만 해도 탐지 정확도는 무작위 수준에 가깝게 떨어집니다. SlopShape은 단어를 완전히 무시함으로써 이를 우회합니다.

이 분류기는 203개의 특징(feature)을 사용하며, 그중 176개는 구조적입니다:

• 섹션 순서 패턴: 게시물이 정의로 시작하고, 이어서 장점으로 이어지며, 콜투액션으로 마무리하는가?
• 증거 제시: 주장이 통계, 일화 또는 단언에 의해 뒷받침되는가?
• 목소리 일관성: 어조가 섹션 간에 변화하는가, 아니면 균일하게 유지되는가?
• Semantic HTML 사용: 제목(heading), 목록(list), 강조 태그(emphasis tag)는 어떻게 배치되었는가?
• DOM 깊이 및 중첩: 중첩된 요소의 평균 깊이는 얼마인가?

이러한 특징들은 LLM (논문에는 공개되지 않았지만 GPT-4 급일 가능성이 높음)에 의해 추출되고 인간의 금 표준 주석(gold annotations)과 비교 검증됩니다. 인간 대 인간 일치도(kappa 0.939)와 인간 대 모델 일치도(kappa 0.951) 모두 신뢰할 수 있는 특징 추출 파이프라인을 갖추고 있습니다.

데이터셋은 268개 회사 도메인의 ChatGPT 이전 인간 블로그 게시물 2,250개로 구성되어 있으며, 이들이 다섯 가지 최첨단 모델(GPT-4, Claude, Gemini 및 미공개 두 개)에 의해 AI가 생성한 버전으로 복제되어 총 11,250개가 되었습니다. 'ChatGPT 이전'이라는 점이 중요합니다. 이는 인간의 저작권이 명확한 깨끗한 기준선(baseline)을 확립하기 때문입니다.

정답(Ground truth)은 여전히 경계 부분에서 모호할 수 있습니다. AI 비서가 편집한 인간 게시물은 둘 다의 구조적 지문(structural fingerprints)을 가질 수 있기 때문입니다. 논문은 이를 직접적으로 다루지는 않지만, 높은 F1 점수는 훈련 세트가 충분히 깨끗하여 경계 사례들이 우세하지 않음을 시사합니다.

보류된 테스트 세트는 동일한 회사 출신의 게시물이 아닌, 보지 못한(unseen) 회사들을 대상으로 평가합니다. 이는 특정 글쓰기 스타일을 암기하는 것이 아니라 도메인 전반에 걸친 일반화(generalization) 능력을 테스트한다는 의미입니다.

아키텍처: 특징 추출기(Feature Extractor)로서의 LLM

SlopShape는 원시 HTML에 대해 신경망(neural network)을 훈련하지 않습니다. 대신 LLM을 사용하여 구조화된 특징(structured features)을 추출한 다음, 그 특징들로 그래디언트 부스팅 트리(gradient-boosted tree, 아마도 XGBoost 또는 LightGBM일 가능성이 높으며 명시되지는 않음)를 훈련합니다.

이러한 2단계 설계는 세 가지 장점을 가집니다:

1. 해석 가능성 (Interpretability): 각 특징은 사람이 읽을 수 있는 신호(예:

출처 추적은 더 어렵지만 여전히 가능합니다. 분류기는 AI 게시물 중 68.6%를 올바른 출처 모델에 할당하며, 이는 16.7%의 확률(총 여섯 개 클래스: 다섯 가지 모델과 인간)을 의미합니다. 이는 각 모델이 동일한 콘텐츠를 생성할 때조차도 고유한 구조적 서명(structural signature)을 가지고 있음을 시사합니다.

인간 작성자의 게시물은 희귀한 구조적 구성을 차지합니다. 논문에서는 이를 정량화하지 않았지만, 그 함의는 명확합니다. 즉, 인간 작가들은 AI 모델보다 자신의 구조를 더 다양하게 변화시킨다는 것입니다. 반면, AI 모델들은 깔끔하고 스스로 드러나는 형태(self-announcing shape)로 수렴하는 경향이 있습니다.

적대적 역학 및 모델 버전 관리 (Adversarial Dynamics and Model Versioning)

이는 군비 경쟁과 같습니다. 에이전트들이 탐지 신호(detection signals)를 알게 되면, 이를 회피하도록 훈련할 수 있습니다. 논문은 이 부분을 다루지는 않지만, 역학 관계는 예측 가능합니다:

• 1단계: 에이전트들은 단어 수준의 다양성(word-level diversity)을 최적화합니다 (이미 진행 중).
• 2단계: 에이전트들은 구조적 다양성(structural diversity)을 최적화합니다 (섹션 순서 무작위화, 증거 유형 변화 등).
• 3단계: 탐지기는 메타 구조적 신호(meta-structural signals)로 전환됩니다 (예:

논문은 인간 또는 AI라는 명확한 분리를 가정합니다. 하지만 실제 제작 콘텐츠는 하이브리드입니다. 사람이 초안을 작성하고, AI 어시스턴트가 이를 재작성하며, 사람이 그 결과물을 편집하는 식입니다. 분류기는 무엇을 보게 될까요?

논문은 이 부분을 테스트하지 않았지만, 구조적 지문(structural fingerprint)은 최종 편집자의 영향을 받을 가능성이 높습니다. 만약 AI 어시스턴트가 게시물 전체를 재작성했다면, 그 구조는 AI 생성처럼 보일 것입니다. 반면 사람이 가볍게 편집만 했다면, 구조는 인간의 흔적으로 남을 것입니다.

실제 현장에서는 Sitefire와 같은 시스템이 하이브리드 콘텐츠를 높은 불확실성(high-uncertainty)으로 플래그 지정하고, 이를 인간 검토로 라우팅하거나 분류 결정을 내리기 전에 신뢰도 임계값(confidence threshold)을 적용할 가능성이 높습니다.

이는 출처 규명(attribution)에 문제가 됩니다. "이것은 GPT-4가 작성했나요, 아니면 Claude가 작성했나요?"라는 것을 알고 싶다면, 사람이 결과물을 편집했는지 여부를 알아야 합니다. 분류기는 그것을 알려줄 수 없습니다.

코드 및 아티팩트 (Code and Artifacts)

본 논문은 파이프라인(pipeline), 도구(instrument), 프롬프트(prompts), 코드, 그리고 집계된 아티팩트를 공개합니다. 이는 탐지 논문으로서는 드문 일입니다. 대부분의 논문은 아무것도 공개하지 않거나 훈련된 모델만 공개할 뿐입니다. SlopShape는 전체 특징 추출 파이프라인을 공개했기 때문에, 연구자들이 결과를 재현하고 자신만의 도메인에 맞춰 이 도구를 적용할 수 있다는 의미가 됩니다.

검증 URL은 arxiv 초록에는 포함되어 있지 않으니, 저장소 링크를 확인하려면 전체 논문 PDF를 참고하십시오.

기술적 평가 (Technical Verdict)

SlopShape의 아키텍처로는 실시간 탐지(Real-time detection)가 불가능합니다. LLM 특징 추출기(LLM feature extractor)는 페이지당 2~5초가 소요되므로, 크롤링 중 인라인 분류(inline classification)를 하는 것은 불가능합니다. 실제 운영 방식은 비동기 큐(async queue)를 사용한 배치 처리(batch processing)입니다. 즉, 페이지를 크롤링하고, 특징 추출을 위해 큐에 넣은 후, 나중에 분류하고 결과를 캐시하는 방식입니다.

SlopShape 스타일의 구조적 탐지(structural detection)는 다음 경우에 사용하십시오:

• 배치 지연 시간(crawl과 classification 사이의 분 단위~시간)을 허용할 수 있습니다.
• 단어 수준 감지기(word-level detectors)를 무력화하는 적대적 재구성을 견딜 만큼 강력해야 합니다.
• 디버깅, 감사(auditing), 모델 버전 관리를 위한 해석 가능한 특징(interpretable features)이 필요합니다.
• 도메인은 상업 블로그 게시물, 마케팅 페이지 또는 유사한 구조화된 콘텐츠입니다.
• 실시간 랭킹 신호가 아닌, 관측 가능성 파이프라인(observability pipeline)을 구축하고 있습니다.

다음과 같은 경우에는 피해야 합니다:

• 서브-100ms 지연 시간의 실시간 감지가 필요할 때 (캐싱 없이는 LLM 병목 현상으로 불가능합니다).
• 콘텐츠가 인간-AI 하이브리드이며, 전체 페이지를 분류하는 대신 특정 섹션을 할당해야 할 때.
• 도메인이 상업 블로그와 거리가 멀어 203개 특징(feature) 기기가 일반화되지 않을 수 있는 경우 (소설, 학술 논문, 소셜 미디어).
• 에이전트들이 구조적 감지를 회피하도록 이미 훈련하고 있는 적대적 환경에 있을 때 (군비 경쟁은 지속적인 재훈련을 요구할 것입니다).

진짜 통찰력은 97% F1 점수가 아닙니다. 진짜 통찰력은 AI 모델이 구조적 형태(structural shape)로 수렴한다는 것이며, 이 형태는 단어가 바뀌어도 감지 가능하다는 것입니다. 이것은 단순히 탐지 기술에 대한 신호가 아니라, 에이전트 출력의 동질성(homogeneity)에 관한 신호입니다. 에이전트들이 더 능숙해짐에 따라, 그들이 구조를 다양화하는 법을 배울지, 아니면 구조적 수렴이 공유된 목표 하에서의 최적화의 본질적인 속성인지가 문제가 됩니다.

출처 링크

• SlopShape: Identifying AI-Generated Commercial Web Content (arxiv)
• Hacker News Discussion