수동 체크포인트(manual checkpoint)가 완전 자동화보다 35%포인트 더 높은 성능을 보였습니다. 이 수치는 제가 프롬프트 체인(prompt chain)을 구축하는 방식을 완전히 바꾸어 놓았습니다.

저는 두 달 동안 체인이 길수록 더 나은 결과물이 나온다고 확신했습니다. 정제 단계가 많을수록 정답에 더 가까워질 것이라고 믿었죠. 그래서 클라이언트의 광고 카피를 위해 7단계 체인을 구축했습니다. 브리프 수집(brief intake), 관점 추출(angle extraction), 브랜드 보이스 필터(brand voice filter), 헤드라인 초안 작성(headline drafting), 점수 매기기(scoring), 재작성(rewriting), 최종 다듬기(final polish) — 이 모든 과정은 Claude Sonnet을 통해 자동화되었으며, 각 출력값이 다음 단계의 입력값으로 전달되었습니다. 이 방식은 이틀 동안은 잘 작동했습니다. 그러다 모호한 타겟 정의가 포함된 클라이언트 브리프가 들어왔습니다. 관점 추출 단계에서 쓰레기 같은 결과물이 생성되었고, 이후의 모든 단계가 이를 그대로 물려받았습니다. 체인을 중단시키는 장치가 없었기 때문에, 저는 6단계에 이르러서야 실패를 감지했습니다. 토큰(tokens)만 낭비하고 시간도 버렸으며, 사용할 수 있는 결과물은 아무것도 없었습니다.

해결책은 더 나은 프롬프트가 아니었습니다. 중간에 제가 결과물을 읽는 과정을 포함한 더 짧은 체인이었습니다.

저는 두 번의 호출(calls)과 그 사이에 수동 게이트(manual gate)를 두는 방식으로 체인을 재구축했습니다. 첫 번째 단계는 타겟(audience), 제안(offer), 제약 사항(constraints), 톤(tone)과 같은 구조를 추출합니다. 저는 그 출력물을 읽습니다. 만약 무언가 잘못되었다면, 그 자리에서 수정하며 이는 약 30초 정도 걸립니다. 그런 다음 두 번째 단계가 수정된 구조를 받아 헤드라인 변형들과 본문 초안을 생성합니다. 저는 6주 동안 11개의 클라이언트 계정에 걸쳐 이 방식을 추적했습니다. 바로 사용 가능한 첫 번째 초안(first drafts)의 비율은 약 40%에서 75% 정도로 올라갔습니다. 그 이유는 프롬프트 자체가 아니라 바로 이 게이트(gate)였습니다.

즉시 도입할 가치가 있는 또 다른 패턴은 역할이 고정된 단일 목적 프롬프트(role-locked single-purpose prompts)입니다. 예전에는 Claude에게 한 번의 호출로 추출, 평가, 재작성을 모두 요청하는 긴 다중 지시 프롬프트(multi-instruction prompts)를 작성하곤 했습니다. 결과는 세 가지 모두 평범했습니다. 이제는 각 호출이 하나의 작업만 수행하며, 상단에 고정된 역할(locked role)을 부여합니다.

You are a direct-response copywriter reviewing this for offer clarity. Do nothing else.

브랜드 보이스를 위해서는 별도의 호출과 별도의 역할을 사용합니다. API 호출 횟수가 늘어나고 작업당 비용은 높아지지만, 배치(batch) 작업 중 세 번째나 네 번째 작업에 이르면 결합된 프롬프트는 단일 목적 프롬프트와 달리 강조점이 어긋나기 시작합니다.

저는 piece당 4분의 시간을 추가하면서도 수정 시간을 눈에 띄게 단축해 준 Obsidian 스테이징 버퍼(staging buffer) 설정 방식과, 잘못된 출력물을 프롬프트 입력값으로 사용하는 과정에서 우연히 발견한 실패 로그 패턴(failure log pattern)을 포함한 전체 분석 내용을 dailyfocusmag.com에 작성했습니다.

전체 포스트 보기 →