하나의 AI 채팅에 네 가지 일을 시키는 것을 멈추세요
요약
AI 작업 시 하나의 대화에서 모든 과정을 처리하는 대신, 조사(Scout), 제작(Maker), 검토(Skeptic) 등의 단계로 분업화하여 작업 품질을 높이는 방법론을 제시합니다.
핵심 포인트
- 단일 대화 내 다중 작업 요청은 실패 모드를 식별하기 어렵게 만듦
- Scout 단계: 검증된 사실과 미지 영역을 구분하여 토대 마련
- Maker 단계: 명확한 결승선과 구체적인 결과물(Artifact) 정의
- Skeptic 단계: 단순 편집이 아닌 논리적 결함과 누락을 공격적으로 검토
확신에 차 있고, 다듬어져 있으며, 불완전한 결과를 얻는 가장 빠른 방법은 하나의 대화(conversation)에 사실 조사, 결과물(artifact) 제작, 자체 검토, 그리고 작업 완료 선언까지 모두 요청하는 것입니다.
이것은 일차적으로 프롬프팅 (prompting)의 문제가 아닙니다. 그것은 분업 (division-of-labor)의 문제입니다.
나는 AI 작업을 하나의 연속된 행위로 취급해 왔습니다: 작업을 설명하고, 답변을 기다리고, 몇 가지 수정을 요청하고, 결과를 복사하는 방식입니다. 모든 것이 한 곳에 머물러 있었기에 효율적이라고 느껴졌습니다. 하지만 이는 네 가지 서로 다른 실패 모드 (failure modes)를 거의 식별할 수 없게 만들었습니다.
- 조사가 오래된 정보일 수 있습니다.
- 제작 과정이 요청된 결과물 (artifact)에서 벗어날 수 있습니다.
- 검토 과정이 제작자의 가정을 옹호할 수 있습니다.
- "완료"라는 말이 작업이 완료되었다고 말하는 유창한 문단 그 이상 아무것도 의미하지 않을 수 있습니다.
해결책은 더 긴 마스터 프롬프트 (master prompt)가 아니었습니다. 그것은 네 번의 가시적인 단계 (passes)였습니다.
Pass 1: 스카우트 (Scout)
스카우트는 최종 결과물 (artifact)을 만들지 않습니다. 스카우트의 임무는 결과물이 서 있어야 할 토대를 찾는 것입니다.
조사 작업의 경우, 이는 직접적인 출처, 현재 날짜, 상충하는 증거, 제약 조건, 그리고 미지의 영역을 의미합니다. 콘텐츠 작업의 경우, 이는 뒷받침되는 사실, 실제 독자의 질문, 그리고 이야기를 지어내지 않고 사용할 수 있는 사례들을 의미합니다. 디지털 제품의 경우, 이는 문제의 증거, 구매자의 언어, 기존의 대안들, 그리고 아직 증명할 수 없는 격차들을 의미합니다.
스카우트는 증거에 다음과 같이 라벨을 붙여야 합니다:
- Verified (검증됨) — 현재의 직접적인 출처를 통해 확인됨.
- Supplied (제공됨) — 운영자에 의해 제공되었으나 독립적으로 확인되지 않음.
- Inference (추론) — 가용한 사실로부터 도출된 결론.
- Unknown (미지) — 누락되었으며 추측하기에 안전하지 않음.
이 단일 단계는 제작자 (Maker)가 불확실성을 다듬어진 허구로 바꾸는 것을 방지합니다.
Pass 2: 제작자 (Maker)
제작자는 하나의 제한된 결과물 (artifact)을 생성합니다.
"경쟁사 조사 도와줘"가 아닙니다. 모든 가격이 인용되고 하나의 포지셔닝 (positioning) 결정이 포함된, 현재 다섯 가지 대안에 대한 한 페이지 분량의 비교표를 만드는 것입니다.
"런칭 콘텐츠를 써줘"가 아닙니다. 검증된 제품 범위만을 사용하여 작성된 하나의 랜딩 페이지 (landing-page) 개요와 세 개의 사실 기반 포스트를 만드는 것입니다.
"이 프로세스를 개선해줘"가 아닙니다. 트리거 (trigger), 입력 (input), 출력 (output), 담당자 (owner), 예외 경로 (exception path), 그리고 완료 영수증 (completion receipt)이 포함된 체크리스트여야 합니다.
제작자 (Maker)에게는 명확한 결승선이 필요합니다:
완료된 결과물 (FINISHED ARTIFACT)
반드시 존재해야 하는 정확한 파일, 페이지, 메시지, 결정 사항 또는 전달된 항목.
...
이 세 가지 필드가 없다면, 더 많은 생성 (generation)은 대개 더 많은 자료를 의미할 뿐, 더 높은 완성도를 의미하지는 않습니다.
3단계: 회의론자 (Skeptic)
회의론자 (Skeptic)는 "더 좋게 만들어줘"라고 요청받는 편집자가 아닙니다. 그러한 지침은 종종 근본적인 실수를 그대로 유지한 채 문장만 더 매끄럽게 만들 뿐입니다.
회의론자는 완료 여부를 부정하려고 시도합니다.
다음과 같은 질문을 던집니다:
- 어떤 주장이 증거보다 더 강력한가?
- 누락된 필수 요소는 무엇인가?
- 어떤 링크, 가격, 날짜, 파일명 또는 합계가 일관되지 않은가?
- 어떤 예시가 실제 고객이나 결과로 오인될 수 있는가?
- 어떤 개인적인 세부 사항이 공개용 결과물에 불필요한가?
- 행동 유도 (call to action)가 설명하는 페이지를 실제로 여는가?
- 외부 작업이 실제로 발생했다는 증거가 있는가?
대중을 대상으로 하거나, 고객 지향적이며, 평판, 재무 또는 개인정보 보호에 민감한 작업의 경우, 이는 원래의 수락 기준 (acceptance criteria)을 염두에 둔 별도의 단계로 진행되어야 합니다.
제가 발견한 가장 유용한 검토 요청 방식은 짧습니다:
아직 다시 쓰지 마세요.
이 결과물이 정확하거나, 사용 가능하거나, 안전하거나, 완전하는 것을 방해하는 결함만을 나열하세요. 각 결함을 수락 점검 (acceptance check) 항목과 연결하세요.
...
4단계: 마무리 투수 (Finisher)
마무리 투수 (Finisher)는 승인된 수정 사항을 적용하고, 결과를 패키징하며, 증거를 기록합니다.
이 단계는 대부분의 AI 워크플로 (workflows)가 조용히 건너뛰는 단계입니다. 초안이 존재하므로 작업이 완료된 것으로 간주됩니다. 배포 명령이 성공했으므로 공개 페이지가 작동한다고 가정합니다. 포스트가 준비되었으므로 게시된 것으로 계산됩니다.
마무리 투수는 작업에 적합한 영수증 (receipt)을 필요로 합니다:
- 열리는 정준 파일 (canonical file);
- 내용이 설명과 일치하는 테스트된 아카이브 (archive);
- 에디터 외부에서 확인된 공개 URL;
- 알려진 제한 사항이 포함된 전달 영수증 (delivery receipt);
- 또는 완료되지 않았을 때의 명시적인 실패/부분 결과.
규칙은 간단합니다: "완료됨"이라는 진술은 작업이 완료되었다는 증거가 결코 될 수 없습니다.
패스(Pass) 간의 인계 (The Handoff Between Passes)
4-패스 시스템이 네 가지의 서로 다른 결과물이나 네 명의 영구적인 에이전트 (agent)를 요구하는 것은 아닙니다. 하나의 어시스턴트가 여러 역할을 수행할 수 있습니다. 중요한 부분은 패스 (pass)와 그 책임이 분리된 상태로 유지되어야 한다는 점입니다.
인계 (handoff)는 대화보다 더 작아야 합니다:
목표 (OBJECTIVE)
현재 검증된 상태 (CURRENT VERIFIED STATE)
진실의 근원 (SOURCE OF TRUTH)
...
다음 역할의 결정, 출력, 또는 안전 경계 (safety boundary)를 변화시키는 세부 사항만 전달하세요. 개인적인 배경 이야기, 관련 없는 계정 기록, 오래된 시도, 자격 증명 (credentials), 그리고 개인적인 메시지는 일상적인 인계에 포함되어서는 안 됩니다.
하나의 패스로 충분할 때
모든 작업에 격식이 필요한 것은 아닙니다.
제공된 사실을 사용하는 가역적인 내부 초안 (internal draft)은 하나의 세션 내에 머무를 수 있습니다. 단계는 분리하되, 동일한 컨텍스트 (context)가 정찰 (Scout), 제작 (Make), 스스로 한 번 확인, 그리고 마무리를 수행할 수 있습니다.
다음과 같은 경우에는 역할을 분리하세요:
- 사실 관계가 변경되었을 가능성이 있을 때;
- 출력이 공개되거나 고객에게 노출될 때;
- 놓친 오류가 돈, 평판, 또는 개인정보에 영향을 미칠 때;
- 작업에 외부적 또는 되돌릴 수 없는 행동이 포함될 때;
- 또는 "좋아 보인다"는 것이 충분한 수락 테스트 (acceptance test)가 되지 않을 때.
목표는 최대의 프로세스가 아닙니다. 값비싼 실패가 밖으로 새 나가기 전에 이를 가시화할 수 있는 최소한의 프로세스를 구축하는 것입니다.
복사 가능한 역할 카드 (A Copyable Role Card)
정찰 (SCOUT)이 찾아야 할 것:
제작 (MAKER)이 만들어야 할 것:
...
완성된 결과물 (artifact)을 먼저 작성하세요. 그런 다음 6줄을 채우세요. 만약 역할이 여전히 모호하게 들린다면, 그 작업은 라우팅 (route)할 수 있을 만큼 충분히 경계가 정해지지 않은 것입니다.
저는 이 카드를 무료 브라우저 전용 AI Team Role Router로 만들었습니다. 이 도구는 가입이나 답변 업로드 없이 로컬에서 네 번의 패스 (passes)를 생성합니다.
전체 $19 AI Solo Operator System에는 결과 범위 지정 (outcome scoping), 인계 패킷 (handoff packets), 품질 게이트 (quality gates), 개인정보 및 증명 규칙 (privacy and proof rules), 6가지 실제 업무 플레이북 (playbooks), 그리고 전체 제품 검증 모듈이 추가됩니다. 템플릿은 구조를 제공할 뿐이며, 트래픽, 고객 또는 오류 없는 결과물을 보장하지는 않습니다.
운영 루프 (THE OPERATING LOOP)
증거를 탐색하세요. 하나의 경계가 정해진 산출물 (bounded artifact)을 만드세요. 회의론자 (Skeptic)에게 완료 여부를 반증하도록 요청하세요. 완결자 (Finisher)가 수정 사항을 적용하고 수령 기록을 남기게 하세요. 유창함은 증거가 아니며, 하나의 긴 대화가 분업 (division of labor)인 것도 아닙니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Dev.to AI tag의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기