제품 리뷰에서 'AI 냄새'를 없애기 위해 AI 프롬프트를 15번이나 다시 작성한 이유

첫 문장만 읽어도 AI가 작성한 제품 리뷰라는 것을 바로 알 수 있습니다. "오늘날처럼 빠르게 변화하는 세상에서, 적절한 제품을 찾는 것은 게임 체인저(game-changer)가 될 수 있습니다."라고 말이죠. 아무도 그렇게 말하지 않습니다. 슬로우 피더(slow-feeder) 그릇을 3개월 동안 실제로 사용해 본 사람이라면 누구도 논문 같은 문장으로 시작하지 않습니다.

저는 반려동물 용품 리뷰 사이트를 운영하고 있으며, AI를 사용하여 그런 결과물을 만들지 않으면서 초안 작성 속도를 높이고 싶었습니다. 제가 깨달은 것은 프롬프트(prompt) 자체가 작업의 전부라는 사실입니다. 저는 하나의 리뷰 초안 작성 프롬프트를 약 15번 정도 다시 작성하게 되었는데, 흥미로운 점은 AI가 '더 많이' 쓰게 만드는 것이 아니라, 'AI처럼 덜' 쓰게 만드는 것이었습니다. 실제로 효과가 있었던 부분과 제가 계속해서 마주했던 한계점에 대해 말씀드리겠습니다.

첫 번째 프롬프트가 실패한 이유

모두가 시작하는 방식은 아주 단순한 버전입니다:

[product]에 대한 리뷰를 작성해줘. 자연스럽고 도움이 되는 것처럼 들리게 해줘.

결과물로 돌아오는 것은 유창하지만 완전히 공허한 내용입니다. 리뷰의 '형태'는 갖추고 있지만 실체는 전혀 없습니다. 포괄적인 형용사만 가득하고, 구체적인 내용은 전혀 없으며, 해당 카테고리의 어떤 제품에도 적용될 수 있는 결론을 내놓습니다. "자연스럽게 들리게 해줘"라는 요청은 아무런 도움이 되지 않습니다. 왜냐하면 모델의 기본 어조(register) 자체가 이미 모델이 생각하는 '자연스러운 소리'이기 때문이며, 모델이 생각하는 자연스러움이란 마케팅 브로슈어와 같습니다.

문제는 유창함이 아닙니다. 모델은 충분히 유창합니다. 문제는 일반적인 산문(generic prose)이 모델의 가장 에너지가 낮은 출력 방식이며, 모호한 프롬프트는 모델이 그 상태에 머물게 방치한다는 점입니다.

실제로 효과가 있었던 방법

해결책은 모델이 일반적인 내용을 작성할 수 있는 여지를 제거하는 것에 집중되었습니다.

금지 문구 목록. 저는 프롬프트에 명시적인 차단 목록(blocklist)을 유지합니다 — "game-changer", "in today's world", "look no further", "when it comes to", "elevate your", "whether you're a... or a..." 와 같은 표현들입니다. 클리셰(cliché)를 쓰지 말라고 요청하는 것보다 클리셰를 직접 명시하는 것이 훨씬 효과적입니다. 모델은 자신의 특징(tells)을 스스로 신뢰성 있게 감지할 수 없지만, 명시된 목록은 그대로 따를 수 있기 때문입니다.

필수 슬롯을 포함한 강제적 구조 (Forced structure with required slots). "리뷰를 작성해줘"라고 하는 대신, 프롬프트는 구체적인 구성 요소를 요구합니다. 즉, 실제로 어떤 사용 사례 (use case)에 적합한지, 누구에게는 적합하지 않은지, 그리고 최소한 하나 이상의 구체적인 단점 (drawback)을 포함하도록 합니다. 신뢰성을 높이는 데 가장 큰 도약은 실제 부정적인 내용을 강제하는 것에서 왔습니다. 단점이 없는 리뷰는 광고처럼 읽히며, 인간은 본능적으로 이를 불신합니다. "이 점이 짜증 났습니다"라는 필수 슬롯을 만드는 것은 브로슈어 같은 어조를 즉각적으로 깨뜨립니다.

판단보다 구체성 (Specificity over judgment). 저는 단순한 평가를 금지합니다. 모델은 "매우 잘 작동합니다"라고 쓸 수 없습니다. 대신 어떤 조건 하에서 어떻게 작동하는지를 써야 합니다. "강한 당김이 필요한 사람에게 좋습니다"는 주장(claim)이지만, "매우 잘 작동합니다"는 군더더기(filler)일 뿐입니다. 조건부 서술을 강제하면 텍스트가 검증 가능한 방향으로 끌려가게 됩니다.

제한된 목소리와 밀도 (Constrained voice and density). 1인칭을 사용하고, 절제하며, 백과사전식 어조를 피하고, 본론에 들어가기 전 제품 카테고리 전체를 요약하지 않도록 합니다. 첫 번째 구체적인 관찰이 나오기 전까지 허용되는 서론(throat-clearing)의 양을 제한합니다.

이 각각은 작은 규칙들입니다. 하지만 이들이 쌓이면 결과물을 브로슈어의 세계에서 끌어내어, 적어도 사람이 쓴 것처럼 읽히는 무언가로 만들어 줍니다.

(기계적인 초안 작성에는 Claude를 활용했습니다. Claude는 이와 같이 엄격하고 규칙이 많은 프롬프트를 따르는 데 능숙합니다. 프롬프트 설계가 핵심적인 작업이었고, 생성은 쉬운 부분이었습니다.)

어떤 프롬프트도 넘을 수 없는 한계

이것이 핵심이기 때문에 솔직해져야 할 부분이 있습니다.

위의 모든 기술은 _리뷰가 어떻게 읽히는지_를 개선합니다. 하지만 그중 어떤 것도 _그 내용이 사실인지_를 개선하지는 못합니다. AI 텍스트를 제품을 3개월 동안 사용한 사람처럼 들리게 만들 수는 있습니다. 하지만 제품을 3개월 동안 사용한 사람 그 자체가 되게 만들 수는 없습니다.

리뷰를 실제로 읽을 가치가 있게 만드는 요소들 — 즉, 실제 사용 후 제품이 얼마나 잘 버텼는지, 제품 상세 페이지에는 절대 언급되지 않는 구체적인 결함 방식, 정확한 측정값, 주방 바닥에서 더러워지고 찌그러진 제품의 사진 같은 것들 — 모델은 이러한 것들을 전혀 가지고 있지 않습니다. 만약 모델이 이러한 공백을 채우도록 내버려 둔다면, 모델은 그것들을 지어내게 되며, 이제 당신은 빈약한 리뷰를 쓰는 것이 아니라 자신만만하게 거짓된 리뷰를 쓰고 있는 것이 됩니다. 그것이 더 나쁩니다.

그래서 제가 정착한 기준은 이렇습니다: AI는 초안을 작성하고 구조를 잡으며, 인간은 경험을 제공합니다. 프롬프트(Prompt)는 깔끔하고 구체적이며 사람처럼 들리는 '뼈대(Skeleton)'를 만들어냅니다. 그런 다음 실제로 제품을 다뤄본 사람이 오직 인간만이 만들어낼 수 있는 부분들을 채워 넣고, 초안이 주장했지만 사실이 아닌 부분들은 잘라냅니다. 특히 사람들이 동물의 건강에 영향을 미치는 결정을 내리는 반려동물 사이트에서, 이러한 역할 분담을 잘못하는 것은 단순한 스타일의 문제가 아닙니다.

이는 검색 엔진이 나아가고 있는 방향과도 일치합니다. Google의