당신의 콘텐츠 파이프라인이 잘못된 기사를 생성하는 이유

나는 나를 대신해 글을 써주는 기계를 만들었습니다.

그것은 작동했습니다. 그것이 문제였습니다.

몇 주 동안 그것은 정해진 일정에 따라, 나의 목소리로, 나의 전문 분야 주제를 가지고 게시물을 계속해서 발행했습니다. 생성기(Generator)는 단 한 번도 놓치지 않았습니다. 하지만 거의 아무도 그중 단 하나도 읽지 않았습니다. 내 게시물은 평균적으로 반응(Reaction)이 1개 미만이었습니다. 기계는 내가 만든 목적 그대로 정확히 수행했습니다. 내가 기계에게 잘못된 업무를 지시했던 것입니다.

만약 당신이 콘텐츠를 자동화해 본 적이 있다면, 이 버그를 경험해 보았을 것입니다. 이 버그는 충돌을 일으키지 않습니다. 에러를 발생시키지도 않습니다. 출력물은 깔끔해 보입니다. 하지만 그것은 조용히 잘못된 출력물이며, 시스템의 그 어떤 것도 당신에게 이를 알려주지 않습니다.

여기 제가 자랑스럽지 않은 부분이 있습니다.

몇 주 동안 저는 생성기를 개선함으로써 이를 해결하려고 노력했습니다. 더 나은 프롬프트(Prompts). 더 긴밀한 구조. 더 깔끔한 목소리. 모든 변화는 게시물을 조금 더 날카롭게 만들었지만, 여전히 똑같이 눈에 띄지 않게 만들었습니다. 저는 이미 잘 작동하고 있던 부분만을 다듬고 있었던 것입니다.

파이프라인은 일련의 소스(Sources)를 읽고, 하나의 브리프(Brief)를 작성하며, 몇 가지 후보 각도(Candidate angles)를 생성합니다. 저는 그 후보들을 결승선으로 취급했습니다. 하지만 그것들은 출발선이었습니다. 진짜 결정은 '누구를 위해, 어떤 각도로, 실제 사람이 그 주에 실제로 고민하고 있는 주제에 대해 쓸 것인가'였습니다. 그 결정, 즉 선택(Selection)은 제가 가장 자동화하지 않았고 가장 신뢰했던 부분이었습니다.

잠시 이 점을 생각해 보십시오. 왜냐하면 이것은 금방 콘텐츠의 문제를 넘어선 문제가 되기 때문입니다.

이제 생성(Generation)은 저렴합니다. 점심 식사 전에 10개의 괜찮은 초안을 만들어낼 수 있습니다. 당신의 팀도 할 수 있습니다. 모든 팀이 할 수 있습니다. 따라서 희소한 것은 이미 오래전에 생산(Production)이 아니게 되었습니다. 희소한 것은 사람들에게 와닿는 단 하나를 선택하는 것입니다. 모두가 생성할 수 있을 때, 선택이 게임의 전부가 되며, 선택은 처리량(Throughput)이 아니라 판단(Judgement)입니다.

제 수치가 이를 명확히 말해줍니다. 저는 게시물당 평균 1개 미만의 반응을 얻었습니다. 제 분야에서 승리하는 게시물들은 수십 개, 어떤 것들은 수백 개의 반응을 끌어냅니다. 투입된 노력은 같습니다. 도구도 같습니다. 키보드 앞에 앉아 있는 사람의 유형도 같습니다. 격차는 결코 글쓰기에 있었던 것이 아닙니다. 누군가가 실제로 읽어야 할 필요가 있는 것을 선택하는 데 있었습니다.

현재 제 세계에서 실제 논쟁을 불러일으키는 실타래들은 투박하고 다듬어지지 않은 것들입니다. 여가 시간에 자기 계발을 멈춘 것이 정말 문제가 되는지 묻는 개발자, AI가 팀의 협업 능력을 떨어뜨렸는지 궁금해하는 누군가 같은 것들 말이죠. 배너도 없고, 구조도 없으며, 답글로 가득 차 있습니다. 제 파이프라인은 그 주에 사람들이 논쟁할 만한 것을 단 하나도 만들어내지 못했습니다. 무언가를 만들어내긴 했지만, 그중 어느 것에도 맥박(pulse)이 없었습니다.

제가 옹호하고자 하는 의견은 다음과 같습니다. 생성(generation)이 많아질수록 상황은 더 나빠지지, 좋아지지 않습니다.

당신의 파이프라인이 만들어내는 추가적인 초안(draft) 하나하나가 이번 주에 가장 중요한 단 하나의 자리를 차지하기 위해 경쟁해야 하는 대상이며, 선택 능력(selector)이 약한 시스템은 스스로 만들어낸 양에 파묻혀 버립니다. 시스템은 활동(activity)을 진보(progress)로 착각합니다. 얼마나 많이 만들었는지는 측정하지만, 그중 무엇이 의미가 있었는지는 결코 묻지 않습니다. 적게 만들더라도 잘 선택하는 파이프라인이, 대기열(queue)을 범람시키는 파이프라인을 언제나 이깁니다.

이러한 현상은 콘텐츠 외부에서도 느껴질 수 있습니다. 아무도 요청하지 않은 기능을 출시하는 코드베이스, 무엇을 할 가치가 있는지 결정하는 속도보다 더 빠르게 늘어나는 백로그(backlog), 그리고 40가지의 변형안을 던져주면서 정작 하나를 고르는 데는 도움을 주지 않는 디자인 도구 같은 것들 말입니다. 모든 경우에서 기계는 만드는 능력은 좋아졌지만, 선택하는 능력은 나아지지 않았습니다. 우리는 기존의 병목 현상(bottleneck)을 계속 최적화하는 동안, 병목 지점은 조용히 이동해 버렸습니다.

그래서 제가 답해야 했던 질문이자, 대부분의 자동화된 파이프라인이 회피하고 있다고 생각되는 질문은 매우 어려운 것입니다. 에너지를 쏟기 전에, 어떤 것이 누군가의 주의(attention)를 끌 가치가 있는지 어떻게 알 수 있을까요?

제가 파이프라인을 평가하는 기준을 출력량(output)이 아닌 그 질문에 두기 시작했을 때, 상황이 변했습니다. 저는 '깔끔한 포스트를 생성했는가?'라고 묻는 것을 멈췄습니다. 대신 '이번 주에 실제 사람이 고통을 느끼고 있는 주제를 선택했는가?', 그리고 '초안이 매끄럽게 읽힌다는 점 외에 다른 이유가 있는가?'라고 묻기 시작했습니다. 생성기(generator)는 거의 변하지 않았습니다. 하지만 선택(selection)에는 척추(spine)가 생겼습니다. 그것이 바로 내내 결여되어 있었던 부분이었습니다.

처음부터 그렇게 설계했다고 말씀드릴 수 있다면 좋겠지만, 그렇지 않았습니다. 저는 먼저 무언가를 만들어내는 부분, 즉 인상적인 절반을 먼저 구축했습니다. 무언가를 만들어내는 것이 마치 진전(progress)처럼 느껴지기 때문입니다. 하지만 무엇이 존재할 가치가 있는지 결정하는 조용한 나머지 절반이야말로, 실제로 사람들이 찾아오게 만들지 여부를 결정하는 부분입니다.

만약 여러분이 당신의 현명한 선택 속도보다 더 빠르게 생성할 수 있는 무언가를 구축하고 있다면, 바로 그곳에 여러분의 노력을 쏟아야 합니다. 더 나은 생성기(generator)가 아니라, 더 나은 선택기(selector)가 필요합니다. 불편한 진실은 우리 대부분에게 생성(generation)은 더 이상 제약 사항이 아니라는 점이며, 그럼에도 불구하고 우리 대부분은 여전히 생성에 하루를 쏟아붓고 있다는 사실입니다.

저의 시스템은 여전히 작동하고 있습니다. 이제는 생성하는 양이 줄어들었고, 무엇을 게시할 가치가 있는지에 대해 스스로 더 많이 논쟁합니다. 이러한 변화(trade)만이 수치를 실제로 움직인 유일한 요소였습니다.

여러분의 차례

아무도 필요로 하지 않았던, 여러분이 마지막으로 만든 것은 무엇인가요? 솔직하게 말씀해 주세요.

이 내용이 유익했다면

저는 성공과 정체(freeze)를 모두 포함하여 이 과정을 공개적으로 진행하고 있으며, 주로 LinkedIn과 YouTube에서 활동합니다. 공개적으로 구축(building in the open)하는 실제 과정이 여러분에게 유익하다면, 그곳에서 확인하실 수 있습니다. X, GitHub에서 저를 찾으시거나 next8n.com에서 작업물을 확인해 보세요.