AI가 작성한 9,050개 스크립트를 통해 알게 된 '슬롭(Slop)'에 대한 것

여러분은 이미 이 단락을 너무 많이 읽으셨을 겁니다. 아마 이번 주에도 그랬겠죠:

“오늘날 빠르게 변화하는 세상에서 AI는 단순한 도구가 아니라 패러다임을 전환시키는 태피스트리입니다. 진정한 마법이 일어나는 이 혁신적인 영역을 깊이 탐구해 봅시다.”

Towards AI에 있는 저희 팀은 이제 AI를 사용해서 많은 것을 초안 작성합니다: 비디오, 강좌, 책, 기사… 수천 개가 넘습니다. 저와 제 팀은 거의 모든 것에 Claude를 사용하는데, 제가 검토해야 하는 것 중 너무 자주 이 문구와 똑같은 내용이 나옵니다.

그래서 6월부터 저는 어떤 모델들이 실제로 저처럼 글을 쓸 수 있는지 측정해 왔습니다. 9,050개의 스크립트를 거친 결과, 놀라운 점은 이러한 '슬롭 워드(slop words)'를 고치는 것이 생각보다 쉽다는 것입니다.

준비 과정

올해 6월에 저는 제가 작성한 비디오 스크립트 10개를 가져왔습니다. 일부는 이미 출판되었고, 일부는 오염을 감지하기 위해 보류했습니다. 저희 네 명은 한 달 동안 거의 풀타임으로 약 400시간을 들여 이를 다듬었고, 이 스크립트를 효과적으로 만드는 요소들을 (가능한 명확하고 상세하게) 루브릭(rubrics)으로 만들었습니다.

그다음에는 모델이 제 목소리 가이드, 스토리텔링 가이드, 출력 규칙, 과거 예시, 개요(brief), 그리고 리서치 자료에 접근하여 괜찮은 것을 재생성할 수 있는지 측정합니다.

저희는 GPT, Claude, 오픈 모델, 그리고 최근 추가된 Jev를 포함하여 네 명의 LLM 심사위원이 모든 초안을 최종 버전 및 루브릭과 비교하여 점수를 매기게 합니다.

지금까지 저희는 모든 사고 수준(thinking level)을 포함하여 181가지 구성을 측정했으며, 앞으로 출시될 모든 모델도 측정할 계획입니다.

하지만 가장 중요한 것은, 이 새로운 벤치마크를 구축하고, 수천 개의 생성물을 검토하며, 루브릭을 반복하면서 배운 점입니다.

슬롭이 적다고 해서 글쓰기가 더 좋은 것은 아니다

저희 상위 15개 구성은 모두 슬롭 체크에서 90점 이상을 받았습니다. 따라서 상세한 프롬프트만 있다면 위와 같은 구절들은 대부분 통제할 수 있습니다.

혹시 슬롭 처리가 더 이상 불가능하다면, 저희가 181가지 중 출시한 모델 중 가장 깨끗한 것은 최대 노력으로 GPT-6 Astra를 사용했을 때의 점수인 94.9점입니다.

하지만 주의할 점은 이것이 우리가 추적하는 단 하나의 지표에 불과하다는 것입니다. Astra는 제가 아닌 것처럼 들리기 때문에 현재 62위를 차지하고 있으며, Tone 및 Voice 부문에서 Opus가 90점을 받은 것에 비해 82점입니다. Claude 모델 전체가 상위 11개 자리를 차지했습니다.

두 모델을 모두 사용하며 반복 작업을 하면서 배운 가장 중요한 점은 몇 가지 'Claude스러운 표현(Claude-isms)'만 잘라내는 것이 빠르고 간단한 수정이라는 것입니다. 짜증나지만, 한 번의 쉬운 편집 작업으로 고칠 수 있습니다. 하지만 목소리 자체를 재구축하는 것은 그렇지 않습니다. 많은 정신적 노력과 텍스트 구조화, 예시 변경 등이 필요하며, 이것이 현재 제가 글쓰기에는 Claude에 머무르게 하는 이유입니다.

최대 노력이 큰 이점을 주지 못한다

Opus 5.5를 최대 노력(max effort)으로 사용했을 때 측정된 작가 중 최고로, 100점 만점에 90.8점을 받았습니다. xhigh 설정에서는 $2.75에 스크립트를 만드는 대신 $0.69로 90.0점을 기록했습니다.

이는 점수가 1%도 안 높아지는데 가격은 4배나 비싸다는 의미입니다. 저는 xhigh를 선택하고, 모든 문장이 중요한 드문 경우에만 최대 노력을 사용합니다.

저렴한 모델이 작업 단위를 바꾼다

오픈 웨이트(open-weight) 모델인 GLM-5.3 Flash는 스크립트당 1.5센트에 88.2점을 기록했습니다. 반면, Opus 5.5를 최대 비용으로 사용하면 점수가 약 3% 높아지는 대신 거의 190배나 더 비쌉니다.

이는 GLM을 사용하여 비슷한 글을 생성하는 것이 거의 200배 저렴하다는 것을 의미할 뿐만 아니라, 올바르게 사용한다면 오픈 모델로 Claude보다 더 나은 결과를 더 저렴하게 생성할 수 있다는 것을 의미합니다.

또한 저희는 세대 간 변동성(variability between generations)도 측정했습니다. GLM으로 10개의 초안을 생성하고 그중 가장 좋은 것을 고른다면, Opus 5.5와 매우 유사한 결과를 얻으면서도 여전히 20배 더 저렴할 것입니다. 만약 강력한 심사관(judge)과 좋은 루브릭(rubric)을 갖추고 한 초안의 섹션을 다른 초안에 병합하여 가능한 최고의 프랑켄슈타인 초안을 만들 수 있는 능력을 추가한다면, Opus 5.5보다 훨씬 더 나은 결과를 내면서도 비용은 적게 들 것입니다.

생성은 이제 저렴합니다. 선택(Picking)이 문제입니다. 돈을 생성에 쓰는 것이 아니라 심사하고 고르는 데 쓰십시오.

모든 심사관에게는 자신이 좋아하는 실험실이 있다

다른 심사관들과 비교했을 때, 저희의 GPT 심사관은 OpenAI 초안에 2.75점을 추가하고 Anthropic의 초안에서는 2.14점을 감점합니다.

DeepSeek 심사관은 DeepSeek과 Kimi에게 각각 약 1점을 추가합니다.

Claude judge가 가장 적은 편향성을 보이며, 다른 평가자들보다 절반 정도의 기울기(tilt)를 가졌지만, 여전히 자체 연구소에 대한 선호도를 보이면서도 놀랍게도 Google을 더 좋아합니다.

Jev는 상당히 중립적이며 Gemini 모델에 약간의 선호를 보이지만, 평가에서 그 이유를 명확히 설명하지 못하는 점이 저희 작업에는 일관성이 떨어져 보이게 만듭니다. 아마도 글쓰기가 '시스템 2' 유형의 판단이기 때문일 수도 있습니다.

어떤 평가자도 중립적이지 않습니다. 패널을 사용하고, 절대 작가님의 연구소만 유일한 평가자가 되도록 두지 마세요.

AI를 활용하여 글을 쓸 때 제가 사용할 파이프라인

가장 '놀라운' 텍스트를 많이 작성하는 모델보다는, 가장 적은 수정으로 원하는 결과에 도달하게 해주는 모델을 고르세요. 그리고 다음 단계를 따릅니다:

1. 자신의 목소리(voice), 구조, 규칙 등 길고 매우 구체적인 지침을 작성합니다.
2. 무엇을 해야 하는지, 무엇을 하지 말아야 하는지에 대한 예시를 보여줍니다. 싫어하는 문구들을 명명하고, 프롬프트에 의존하기보다 코드로 초안을 검사합니다.
3. 자신의 최고의 과거 작품 전체와, 이상적으로는 왜 그것들이 좋은지에 대한 세부 정보를 추가합니다.
4. 저렴한 오픈 모델(open model)로 여러 개의 초안을 생성합니다.
5. 다른 연구소의 고차원적 사고를 하는 평가자(high-thinking judge)가 명확한 루브릭(rubric)에 따라 최고의 결과물을 선택하거나 병합하도록 합니다.
6. 별도의 평가자와 함께 검토 및 수정 라운드를 한두 번 실행합니다. 두 번을 넘어서는 것은 큰 도움이 되지 않았습니다.
7. 마지막에는 반드시 인간의 개입을 유지해야 합니다. Opus 5.5 초안조차도 사람의 손길이 필요합니다.

한 가지 주의할 점은, 이 측정치는 제 스크립트에 대한 저의 목소리를 측정한 것이라는 것입니다. 이는 진실이 아닌 하나의 데이터 포인트일 뿐입니다. 무언가를 바꾸기 전에 반드시 본인의 글쓰기로 테스트해보세요! 이 평가 파이프라인을 구축하는 과정이 너무 유용해서, 저희는 이를 여러 고객사의 맞춤형 작업에 적용하여 훌륭한 결과를 얻었습니다.

저는 다음 주 10월 13일 화요일(오전 10시 40분, Turing room — Evals Track) 발표에서 이 방법론을 담은 전체 벤치마크인 ToneBench를 공개할 예정입니다. 들러서 인사해주세요. 벤치마크 개선에 대해 이야기 나누고 싶습니다.