AI로 기사를 양산할 수 있게 되면, 다음 병목 구간은 집필이 아니라 공개 전 체크로 옮겨갑니다. "이거, 내보내도 되는 정보인가?" "이 사양에 대한 기술이 맞는가?"를 매번 인력으로 전체 체크하는 것은 부담스럽습니다. 그래서 저는 Claude Code의 서브 에이전트 2개를 「콘텐츠의 CI」로서 드래프트와 공개 사이에 끼워 넣었습니다. 운용하며 알게 된 설계의 노하우를 적습니다.

왜 2개로 나누는가

처음에는 「공개 전 체크 에이전트」 1개로 전부 맡기려 했지만, 나누는 편이 명확하게 정밀도가 올라갔습니다. 이유는 두 가지입니다.

1. 관심사의 분리. 「내보내서는 안 되는 정보의 검출」과 「사실의 정오 판정」은 필요한 사고 방식이 완전히 다릅니다. 전자는 의심스럽게 망라적으로 읽는 작업이고, 후자는 주장을 추출하여 1차 정보와 대조하는 작업입니다. 1개에 섞으면 둘 다 어중간해집니다.

2. 툴 권한을 역할별로 최소화할 수 있다. 서브 에이전트는 정의 파일(definition file)로 사용할 수 있는 툴을 제한할 수 있습니다.

---
name: publish-safety-review
description: 블로그 기사 드래프트의 공개 여부 리뷰. 개인 식별로 이어질 수 있는 정보·내부 수치·인증 정보 등을 찾아냄. 드래프트 완성 후, 사용자 리뷰 전에 반드시 사용.
...

---
name: ai-fact-check
description: 기사 내의 AI 관련 사실 기술(모델명·가격·기능·사양)을 공식 문서와 대조하여 정오 판정함.
...

공개 여부 리뷰는 사외비(confidential information)를 다룰 가능성이 있으므로 Web access를 갖지 않게 합니다. 팩트 체크는 공식 문서로의 액세스가 본질이므로 WebFetch/WebSearch를 갖게 합니다. 역할별로 권한을 좁히는 것은 인간의 조직 설계와 같습니다.

설계 노하우 1: 판정 기준을 「관점 리스트」로 고정한다

"문제가 없는지 체크해줘"라고 하면 매번 다른 관점으로 보게 됩니다. 공개 여부 리뷰에는 5가지 관점을 명시하고 있습니다.

• 개인 식별 (실명·핸들네임·직업+지역+에피소드의 조합)
• 내부 수치 (매출·성약률 등 미공개 사업 수치)
• 인증 정보·내부 URL (API 키·토큰·사내 툴의 URL)
• 제삼자의 권리·신뢰 (무단 인용·근거 없는 비판)
• 미공개 예정 (출시 전 가격·캠페인)

소재의 원천이 Discord의 메모(사외비 혼재가 전제됨)이기 때문에, 이 관점 리스트가 실질적인 「공개 정책의 실행 형태」가 됩니다.

설계 노하우 2: 출력 포맷을 계약으로 한다

최종 메시지의 형식을 정의 파일 측에서 고정합니다.

판정: 공개 OK / 수정 필요
지적 사항:
- [심각도: 높음/중간/낮음] 해당 부분 (행 번호와 인용) → 문제의 이유 → 수정안

나아가 "문제가 없더라도, 왜 문제없다고 판단했는지를 관점별로 1줄씩 표시할 것"을 의무화하고 있습니다. 이것이 없으면 "문제없습니다"라는 한마디로 일을 다 했다고 착각하기 때문입니다. 빈손(empty-handed)일 때의 설명 책임까지 포함해야 비로소 리뷰로서 신뢰할 수 있습니다.

설계 노하우 3: 망설여지면 안전한 쪽으로 기울도록 지시를 명문화한다

공개 여부 리뷰에는 "망설여지면 수정 필요 쪽으로 기울 것 (공개 후에 지워도 아카이브·검색 캐시에 남기 때문)", 팩트 체크에는 "공식 정보를 찾을 수 없는 주장은 『미확인』으로 할 것 (오류라고 단정하지 말 것)", "블로그·정리 기사는 근거로 삼지 말 것. 1차 정보만 사용할 것"이라고 적어두었습니다. 기본적으로 기울 방향을 정해두지 않으면, AI는 무난하게 "OK" 쪽으로 판정하는 경향이 있습니다.

그래도 마지막은 인간

이 2개는 어디까지나 1차 필터이며, 공개의 최종 판단은 인간이 합니다. 실제로 팩트 체크가 공식 문서의 표시 가격을 근거로 "오류"라고 지적한 기술이, 사실은 세금 포함 가격이라서 맞았던 사례가 있었습니다. AI 리뷰는 망라성 면에서 인간을 초월하지만, 문맥의 정확성에 대한 최종 책임은 인간 측에 남깁니다. 이 선긋기가 있는 한, 양산과 품질은 양립할 수 있습니다.

요약

• 공개 전 체크는 「안전성」과 「사실성」으로 분업시키고, 툴 권한도 역할별로 최소화한다.
• 관점 리스트·출력 포맷·망설여질 때의 기울 방향을 정의 파일에 명문화한다.
• AI 리뷰는 1차 필터. 최종 판단은 인간에게 남긴다.

이 메커니즘이 작동하는 파이프라인의 전체 모습은 블로그에 적어두었습니다: 블로그 소재 발굴을 자동화하는 메커니즘

Discussion