Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 글은 AI가 작성한 글에서 나타날 수 있는 12가지 '징후'들을 분석하고, 이러한 패턴을 식별하는 방법과 수정하는 편집 과정을 제시합니다. 특정 단어 사용이나 문장 구조의 반복 등 기계적 특성을 파악하여 원고를 개선하는 실질적인 가이드라인을 제공합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Dev.to AI tag의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기AI가 작성한 글의 징후란, 아무도 편집하지 않았을 때 모델이 빠지기 쉬운 패턴들입니다. 즉, 진부한 어휘, '단순히 X일 뿐만 아니라 Y' 같은 문장 구조, 삼행시식 나열(everything in threes), 중요성을 과장하는 주장, 그리고 저자가 직접 경험하지 않으면 알 수 없는 내용들이 그것입니다. 이 중 어느 하나가 기계가 썼다는 것을 증명하지는 못합니다. 하지만 이 모든 것들을 종합하여 독자들이 알아차리는 것이 바로 '징후'입니다.
저는 초안이 거절되는 단어 목록을 가지고 있습니다. 이것은 스타일 선호도가 아니라, Skryvo의 생성 파이프라인에 실제로 연결된 블랙리스트이며, 수개월 동안 AI 초안을 읽고 같은 징후들을 반복적으로 발견하면서 구축한 것입니다. 이 초안이 목록에 걸리면 출판되지 않습니다.
이러한 목록이 존재하는 이유는 독자들이 두 문장 정도만으로도 AI가 작성한 글의 냄새를 맡는 법을 배웠기 때문입니다. 그들은 예지력이 있는 것이 아닙니다. 이러한 징후들은 구체적이고 셀 수 있으며, 한번 알게 되면 이미 출판했던 내용들 속에서도 불편할 정도로 발견하게 될 것입니다. 이 글은 그 목록을 글로 정리한 것입니다: AI가 작성한 글의 어떤 부분이 감지되는지, 모델이 왜 그런 행동을 하는지, 그리고 실제로 그것을 고치는 편집 방법까지 다룹니다.
요약하자면: 아래 열두 가지 징후들은 어휘, 문장 패턴, 구조, 누락된 실질적 내용이라는 네 그룹에 속합니다. 프롬프팅(Prompting)은 이들을 줄여주고, 다섯 단계의 편집 과정(five-step editing pass)을 거치면 제거할 수 있으며, 편집 전과 후에 count of the tells를 확인하면 편집이 효과가 있었는지 알 수 있습니다. 이러한 징후들은 '누군가 무엇을 썼다'는 증거로 보기보다는, '편집해야 할 이유'로 간주하는 것이 좋습니다.
이 열두 가지 항목은 저 자신의 블랙리스트와 Wikipedia의 AI 작성 글 징후 가이드에서 가져온 것입니다. 후자는 자원봉사 편집자들이 기계가 작성한 문서를 정리하면서 유지하고 있는 가이드입니다.
| Sign | 무엇처럼 보이는가 | 해결 방법 |
|---|---|---|
| 1. 재고 어휘 (Stock vocabulary) | delve, leverage, seamless, robust, crucial, showcase, tapestry | 평범한 단어를 사용하거나 문장을 삭제하세요 |
| ... | ||
| 하나의 징후만으로는 아무것도 증명하지 못합니다. 사람들은 챗봇이 등장하기 훨씬 전부터 'crucial'이라는 단어를 사용해 왔습니다. 여러 가지가 한 단락에 모여 있을 때, 독자들이 페이지를 신뢰하는 것을 멈추게 만드는 것이 바로 그것입니다. |
아닙니다. 위키피디아 자체 가이드에서도 말하듯이: 이 징후들은 잠재적인 지표일 뿐이며, 많은 인간 작가들도 이를 보여주고, 표면을 수정하는 것이 출처 조작과 같은 더 깊은 문제를 숨길 수 있습니다. 사람들은 또한 판단력이 부족합니다. 한 연구에서 학자들은 인간의 글쓰기를 AI로 72%의 확률로 오인했습니다. 이 징후들을 다른 누군가를 비난하는 데 사용하는 것이 아니라, 자신의 초안을 편집하는 데 사용하세요.
열두 가지 중 네 가지가 독자가 감지하는 속도 순서로 볼 때, 가장 많은 피해를 입힙니다.
일부 단어들은 모델 출력에서 너무 과도하게 나타나 마치 워터마크처럼 작용합니다. 제가 차단 목록에 넣은 최악의 용어들: delve, leverage, seamless, robust, elevate, unlock, game-changer, landscape, navigate, tapestry, harness, unleash. 재고 시작 문구(
모델 초안은 뼈대를 공유합니다: 질문을 재진술하는 서론, 거의 동일한 길이의 세 가지 요점, 내용에 불필요하든 아니든 목록화된 항목, 그리고 서론을 반복하는 요약입니다. 모든 것이 셋 단위로 구성됩니다. 인간의 구조는 더 들쭉날쭉합니다: 한 요점은 중요하기 때문에 네 개의 단락을 차지하고, 다른 요점은 하나의 문장만 차지할 수 있습니다. 초안의 모든 섹션이 같은 무게를 가지면, 독자들은 이유를 말하기도 전에 이를 감지합니다.
초안을 소리 내어 읽어보세요. 모델 문장들은 비슷한 길이(중간, 중간, 중간)로 군집하며, 종속절이 매번 같은 위치에 나타납니다. 인간의 글쓰기는 방향을 바꿉니다. 짧은 문장. 그리고 아이디어가 가고자 하는 곳까지 시간이 걸리기 때문에 여유가 필요한 더 긴 문장이 나옵니다.
이것이 핵심적인 단서입니다. 모델은 자신이 읽은 모든 것의 합의(consensus)를 작성하기 때문에, 순수한 모델 초안에는 놀라움이 없습니다: 자신의 결과에서 나온 숫자도 없고, 자신의 고객 이야기도 없고, 누구도 반대할 수 없는 입장도 없습니다. 대신 모호하게 처리합니다: “주목할 만한 점은”, “결과는 다를 수 있습니다”. 독자들은 이를 감지합니다. 또한 구조화된 저자 신뢰도를 보상하는 검색 엔진과 AI 답변 엔진도 이를 감지하는데, 새롭고 새로운 것이 없는 콘텐츠는 인용을 얻지 못하기 때문입니다.
두 가지 이유가 있으며, 둘 다 버그는 아닙니다. 첫째, 언어 모델은 가장 확률 높은 다음 단어를 예측하는데, 수십억 개의 문서에 걸쳐 가장 확률 높은 단어란 정의상 가장 평균적인 단어입니다. 마케팅에 대해 쓰라고 요청하면, 지금까지 작성된 모든 마케팅 기사의 평균을 얻게 됩니다. 둘째, 모델을 공손하게 만드는 미세 조정(fine-tuning)은 또한 그들을 동의하기 쉽게 만듭니다. 모두를 만족시키도록 훈련받았기 때문에, 그들은 완곡어법을 사용하고, 모든 주장을 균형 있게 만들며, 의견으로 읽힐 수 있는 것은 무엇이든 다듬습니다. 평균적이고 동의하기 쉬운 것이 바로 여러분이 'AI'라고 인식하는 목소리입니다. 뉴욕 타임즈(The New York Times)는 이 정확한 질문을 파고들었으며 같은 결론에 도달했습니다. 즉, 그 목소리는 모델이 훈련되는 방식의 산물이지 오류가 아니라는 것입니다.
이것을 이해하는 것이 중요한 이유는 프롬프팅(prompting)으로 무엇을 고칠 수 있고 무엇을 고칠 수 없는지 알려주기 때문입니다. 여러분은 일부 어휘와 구조는 프롬프트로 제거할 수 있습니다. 하지만 모델에게 여러분의 경험을 갖도록 프롬프트 할 수는 없습니다.
제가 실제로 실행하는 편집 과정 순서대로 알려드리겠습니다. 이것은 또한 무료 수동 휴머니저 같은 어떤 도구 페이지에서도 말해주지 않는 내용입니다. 1,200단어 분량의 초안을 다듬는 데 20~25분이 걸립니다.
AI 도구는 사용자가 작성하는 것보다 더 빠르게 글을 씁니다. 이것이 핵심입니다. 중요한 것은 그들이 무엇을 쓰느냐 하는 점이죠.
같은 아이디어지만, 당신은 한 가지를 천 번쯤 읽었을 것이고, 다른 하나는 그렇지 않을 겁니다.
프롬프트는 대략 60% 정도까지는 도달하게 해주고, 그만한 가치가 있습니다. 제가 기본으로 사용하는 지침 블록은 다음과 같습니다:
"평이하고 직접적인 영어로 작성하세요. 문장 길이를 다양하게 하세요. 짧은 문장을 일부 포함시키세요. 절대 다음 단어들을 사용하지 마세요: delve, leverage, seamless, robust, elevate, unlock, game-changer, landscape, tapestry, harness. 질문을 재진술하는 서론이나 요약 단락, '결론적으로' 같은 표현은 쓰지 마세요. 양쪽 측면을 모두 제시하기보다는 명확한 입장을 취하세요. 애매하게 말하지 마세요."
이것이 도움이 됩니다. 이 지침은 두 가지 부분에서 확실히 실패합니다. 첫째, 몇백 단어가 지나면 모델이 평균적인 경향으로 돌아가고, 둘째, 어떤 지침도 위 4단계의 경험 기반 구체성을 주입할 수는 없습니다. 프롬프팅은 드러나는 특징을 줄여주고; 편집(editing)은 그것들을 제거합니다.
AI 감지기를 사용해 보세요. 하지만 그 결과를 판결이 아닌 신호로 읽으세요. 감지기는 단 하나의 문장에서도 실제로 노이즈가 많고, 숙련된 인간 작가를 잘못 플래그 지정(false-flag)하기 때문에 어떤 점수도 진실로 취급해서는 안 됩니다. 이 도구들이 잘하는 것은 '변화량'을 측정하는 것입니다. 편집 과정을 거치기 전 95%의 AI 점수를 받았던 초안이 편집 후 30%를 받는다면, 당신의 수정 작업이 효과적이었다고 알려줍니다. 이 전/후 변화량이 이 도구를 사용하는 정직한 방법이며, 제가 제 게시물을 검토할 때도 이렇게 합니다. 목표를 명확하게 유지하세요. Google 자체 지침은 사람 중심 콘텐츠가 어떻게 만들어졌든 보상합니다. 당신은 독자를 위해 편집하는 것이고, 점수는 단지 그들을 위한 대리 지표(proxy)일 뿐입니다.
더 빠르게 확인하는 것은 비용이 들지 않습니다. 소리 내어 읽어보세요. 어떤 감지기보다도 당신의 귀가 평탄한 리듬과 진부한 구절을 먼저 포착해낼 수 있습니다.
위에 언급된 모든 작업은 손으로 할 수 있으며, 주 1회 기사 정도라면 그렇게 해야 합니다. 저는 그보다 더 많은 작업을 하므로 Skryvo 자체에 체크리스트를 구축했습니다. 이 블록리스트는 생성 시점에 적용되어 워터마크 단어가 절대 나타나지 않게 하며, 구조 검사 기능은 평이한 리듬을 감지하고, 모든 초안에는 발견된 특징 목록과 AI 초안을 위한 사실 확인 워크플로우가 함께 제공됩니다. 기계가 기계적인 검토 과정을 수행합니다. 판단력 있는 편집, 즉 오직 당신만이 아는 것들은 여전히 당신의 몫이며, 이것이 바로 그래야 하는 방식입니다.
AI 같은 느낌의 콘텐츠는 AI의 문제가 아닙니다. 이는 알려진 체크리스트를 가진 '편집' 문제입니다. 이 체크리스트대로 작업하면