Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
AI가 작성한 초안의 품질을 사전에 검토할 수 있는 '휴머니저' 스킬을 소개합니다. 이 시스템은 AI 글쓰기 패턴을 감지하는 루브릭을 사용하여, 100점에서 시작하여 특정 특징(writing tell)마다 점수를 차감합니다. 이는 콘텐츠가 인간 독자에게 적합한지 판단하는 실용적인 게이트 역할을 합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Dev.to AI tag의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기만약 초안이 기계가 만든 것처럼 들린다면, 편집자가 시간을 들이기 전에 제가 이를 포착하고 싶습니다.
이것이 제 콘텐츠 워크플로우에서 사용하는 작은 '휴머니저(humanizer) 스킬'의 아이디어입니다. 모든 AI 작성 초안은 100점에서 시작하여, 루브릭이 감지하는 글쓰기 특징(writing tell)마다 점수를 잃습니다. 이것은 마법 같은 탐지기가 아니며, 저작권을 증명하려는 것도 아닙니다. 이는 저희 팀이 초안이 인간 독자에게 준비되었는지, 재작성이 필요한지, 아니면 처음부터 다시 구축해야 하는지를 결정하는 데 도움이 되는 실용적인 게이트입니다.
이 모든 것을 유용하게 만드는 세부 사항은 또한 간과하기 가장 쉽습니다. 루브릭은 모호한 'AI 느낌(AI vibes)'을 기반으로 만들어지지 않았다는 것입니다. 특정한 패턴에 근거하고 있습니다.
이 스킬은 오픈 소스 ai-marketing-skills 리포지토리 내 콘텐츠 운영 폴더의 단일 마크다운 파일, humanizer.md에 존재합니다. 이 파일은 에이전트가 글을 쓰기 전에 로드되도록 되어 있습니다.
개괄적으로 과정은 간단합니다:
마지막 단계가 중요한 이유는 이 점수가 최종 판단이 아니기 때문입니다. 이것은 분류(triage) 신호일 뿐입니다.
루브릭은 결과를 네 가지 구간으로 분류하며, 그중 한 가지 구간은 매우 직설적입니다: 50점 미만이면 'ChatGPT 결과물처럼 보인다'는 것입니다. 실제로는 제가 초안을 다듬으려는 시도를 멈추고 재작성 후보로 취급하는 지점입니다.
저는 패턴 목록을 처음부터 만든 것이 아닙니다. 이 파일은 위키피디아의 AI 작성 글의 특징(Signs of AI writing) 공개 페이지를 24개의 점수화된 패턴으로 변환한 것입니다.
해당 페이지는 글쓰기 특징을 유형별로 그룹화하여, 문제를 추상적이기보다 관찰 가능하게 만듭니다. 예를 들어 다음과 같은 것들을 표시합니다:
또한 이 시스템은 일부 과도하게 사용되는 단어들이 모델 세대별로 어떻게 변화하는지도 추적합니다. 한 예로, 페이지에서는 “delve”라는 단어가 2024년 이후 사라졌다고 말합니다.
개발자나 콘텐츠 운영자에게 이것은 유용합니다. 왜냐하면 구체적인 기능 집합을 제공하기 때문입니다. 당신은 “이것이 AI가 만든 것 같은 느낌인가?”라고 묻는 것이 아니라, 알려진 인공물(artifacts)들을 확인하고 있는 것입니다.
이 평가 기준표는 모든 특징을 동일하게 심각하게 취급하지 않습니다.
가장 무거운 감점은 각각 10점으로, 독자가 즉시 알아차릴 수 있는 신호들, 예를 들어 가짜 중요성이나 남아있는 “도움이 되기를 바랍니다” 같은 것들에 주어집니다. 추가적인 대시(em dash) 하나는 절반의 비용을 차지합니다. 이 가중치 부여가 저에게는 적절하게 느껴지는데, 왜냐하면 과장된 주장 하나만으로도 문단 전체의 다른 모든 것을 의심하게 만들 수 있기 때문입니다.
이것은 또한 시스템이 단순한 블랙리스트보다 더 유용해지는 지점입니다. 몇 가지 미관상의 문제만 있는 초안과 중요성을 과대평가하거나 일반적인 채움말(filler)에 의존하는 초안은 같지 않습니다. 점수는 그 차이를 반영합니다.
제가 가장 싫어하는 패턴은 부정적 병렬 구조(negative parallelism)입니다. 이는 무언가가 무엇이 아닌지를 먼저 말한 후에야 그것이 무엇인지를 설명하는 문장입니다.
제가 X에서 지적했던 버전은 전형적인 형태였습니다: “X가 아니라, Y다.”
이 평가 기준표는 사용될 때마다 5점을 감점하며, 최대 10점까지 적용됩니다. Single Grain의 편집자들은 점수 자체가 더 관대하더라도 제목과 본문에서 이를 엄격히 금지합니다. 만약 팀의 초안들이 이 구조로 가득하다면, 여기부터 시작하는 것이 좋겠습니다.
왜냐하면 이것은 종종 문구를 명확하게 만들지는 못하면서도 영리해 보이게 만들기 때문입니다. 그 문장은 정의(definition)보다는 대조(contrast)에 에너지를 쏟습니다.
이것은 나중에 붙이는 독립적인 감지기가 아닙니다. 이것은 작성 전 및 검토 전 단계입니다.
제 워크플로우에서는 에이전트가 humanizer 스킬을 로드하고, 스코어링 프롬프트를 적용한 다음, 초안이 전달되기 전에 점수를 보고합니다. 이는 편집자들이 'delve'를 수동으로 삭제하거나, 반복적인 마무리를 다듬거나, 어색한 기계적 습관들을 하나하나 매만지는 데 시간을 낭비하지 않는다는 의미입니다.
유용한 부분은 단순히 점수 자체가 아닙니다. 바로 작업 순서(order of operations)입니다.
점수가 낮으면 편집을 시작하기 전에 초안이 재작성됩니다. 점수가 중간 정도면 팀은 가장 문제가 심한 부분을 집중적으로 다룰 수 있습니다. 점수가 높으면 편집자들은 사실, 구조, 독자 가치 등 실제 내용에 더 많은 시간을 할애할 수 있습니다.
이 파일은 Anthropic의 코딩 에이전트인 Claude Code를 위해 작성되었지만, 에이전트가 파일을 읽을 수만 있다면 배포가 용이합니다.
기본 단계는 다음과 같습니다:
humanizer.md 파일 또는 다운로드한 사본을 제공합니다.이것만으로도 가벼운 구현이 가능합니다. 전체 설정을 원한다면, 레포지토리 README에는 스킬 폴더를 클론하고 스킬이 여러 스크립트나 참조 파일을 묶는 경우 통째로 복사하라고 나와 있습니다. 이 스킬도 마찬가지입니다.
여기에는 트레이드오프(tradeoff)가 있습니다: 루브릭은 유용하지만, 여전히 서술적일 뿐 마법적이지는 않습니다. Wikipedia 자체 페이지에서도 목록이 확실성이 아닌 관찰에 기반한다고 말합니다. 또한 사람들은 AI 텍스트를 우연보다 더 잘 식별하지 못했다는 2026년 연구도 인용하며, 탐지 도구에는 사소하지 않은 오류율(non-trivial error rates)이 있다고 언급합니다.
따라서 저는 이 점수를 출처의 증거로 사용하지 않을 것입니다. 글쓰기 행동에 대한 품질 게이트(quality gate)로 사용할 것입니다.
점수는 그것을 판결(verdict)이 아닌 필터(filter)로 취급할 때만 도움이 됩니다.
초안은 루브릭이 포착하지 못하는 이유로 여전히 미흡할 수 있습니다. 또한 기계의 특징과 우연히 겹치는 스타일적 선택 때문에 부당하게 감점될 수도 있습니다. 그래서 저는 인간 검토 과정을 대체하기보다, 그 과정에 피드백을 제공하는 채점 시스템을 선호합니다.
최상의 결과는 모든 초안이 완벽하게 사람처럼 들리는 것이 아닙니다. 최상의 결과는 독자들이 신뢰할 수 있는 초안을 받고, 편집자들은 반복적인 기계 습관을 제거하는 데 시간을 쓰기보다 아이디어를 개선하는 데 시간을 쓰는 것입니다.
바로 이것이 '인간화(humanizer)' 기능의 목적입니다: 먼저 초안에 점수를 매기고, 특징들을 일찍 포착하며, 실제로 중요한 부분에 인간의 주의를 집중시키는 것입니다.
만약 자체 콘텐츠 워크플로우를 구축하고 있다면, 복사할 가치가 있는 작은 구현 세부 사항은 편집 '후'가 아니라 편집 '전'에 배치하는 채점 게이트입니다.
태그: #aiwriting #contentops #developerproductivity #automation