원문은 AIdeazz에 처음 게시되었으며, 정식 링크(canonical link)와 함께 이곳에 교차 게시되었습니다.

AIdeazz.xyz를 위한 자동화된 콘텐츠 파이프라인을 시도했던 저의 첫 번째 시도는 별다른 성과를 거두지 못했습니다. 저는 단일 고볼륨 키워드(high-volume keyword)를 가져와 Claude 3 Opus로 기사를 생성하고, 이를 Dev.to와 제 개인 사이트에 게시하는 시스템을 구축했습니다. 문제는 무엇이었을까요? 제 사이트인 AIdeazz.xyz는 인덱싱된 페이지가 15개뿐이었고 유기적 트래픽(organic traffic)은 전혀 없었습니다. 권위(authority)가 없는 사이트에게 "고볼륨 키워드"란 환상에 불과합니다. 저는 제가 상상하는 갭이 아니라, Google Search Console (GSC)이 실제로 보여주는 실제 콘텐츠 갭(content gaps)을 해결해야 했습니다.

새로운 사이트의 진짜 콘텐츠 갭은 "게임 체인저"가 될 만한 키워드를 놓치는 것이 아닙니다. 그것은 클릭은 전혀 없더라도 GSC가 이미 보여주고 있는 쿼리(queries)에 관한 것입니다. 이것들은 Google이 당신의 사이트가 어느 정도 관련이 있다고 생각하는 쿼리들입니다. AIdeazz.xyz의 GSC를 확인해보니 노출수(impressions)는 있지만 평균 순위가 80위 이상이며 클릭은 0인 15개의 쿼리가 나타났습니다. AI 콘텐츠 파이프라인은 바로 여기서부터 시작되어야 했습니다. 제가 상위 노출되고 싶은 키워드가 아니라, Google이 이미 힌트를 주고 있는 키워드로부터 말이죠.

GSC 쿼리에서 기사 브리프까지: GSC_Analyzer 에이전트

수정된 파이프라인의 첫 번째 에이전트는 GSC_Analyzer입니다. 이 에이전트는 GSC API에 연결하여 AIdeazz.xyz의 최신 성능 데이터를 가져오고, 노출은 발생하지만 클릭은 없는 쿼리, 특히 순위가 50위에서 100위 사이인 쿼리들을 필터링합니다. 왜 이 범위일까요? 100위보다 낮은 순위의 쿼리는 너무 막연한 시도입니다. 50위보다 높은 순위의 쿼리는 보통 어느 정도 클릭이 발생하며, 이는 비록 미흡하더라도 제가 이미 해당 주제를 다루고 있음을 나타냅니다. 콘텐츠 갭의 최적 지점(sweet spot)은 Google이 어느 정도 관련성을 인지하고는 있지만, 순위를 높게 주거나 클릭을 유도할 만큼은 충분하지 않은 지점입니다.

GSC_Analyzer는 단순히 쿼리를 가져오는 것에 그치지 않고, 이를 풍부하게 만듭니다 (enrich). 식별된 각 쿼리에 대해, 현재 상위 순위 콘텐츠를 이해하기 위해 (SerpAPI 연동을 사용하여) 빠른 Google 검색을 수행합니다. 이는 기사 브리프 (article brief)의 기초가 됩니다. 예를 들어, GSC에서 "oracle cloud free tier limitations"라는 쿼리가 78위 위치에서 노출수(impressions) 20회, 클릭수(clicks) 0회를 기록하고 있다면, GSC_Analyzer는 다음과 같은 브리프를 생성합니다:

{
  "query": "oracle cloud free tier limitations",
  "target_audience": "developers, technical founders using OCI",
...

이렇게 구조화된 브리프는 다음 에이전트에게 전달됩니다.

Claude 3 Opus와 Groq 라우팅을 이용한 초안 작성: Article_Draft_Agent

Article_Draft_Agent는 브리프를 전달받아 기사를 생성하는 역할을 담당합니다. 처음에는 초안 작성을 위해 오직 Claude 3 Opus만을 사용했습니다. Claude 3 Opus의 긴 컨텍스트 윈도우 (context window)와 강력한 추론 능력은 고품질의 미묘한 차이가 살아있는 콘텐츠를 생산하는 데 탁월합니다. 하지만 Opus는 비용이 많이 듭니다. 1,200단어 분량의 기사 한 편을 생성하는 데 0.50~1.00달러가 들 수 있으며, 여러 번의 반복 작업(iterations)이 더해지면 비용이 계속 쌓이게 됩니다.

비용과 속도를 최적화하기 위해, 저는 라우팅 레이어 (routing layer)를 구현했습니다. Article_Draft_Agent는 먼저 Groq의 Llama 3 8B를 사용하여 초안 작성을 시도합니다. Groq는 믿을 수 없을 정도로 빠르며 훨씬 저렴합니다 (1k 토큰당 약 0.00008달러). 특히 단순하고 사실 중심적인 주제의 경우, 첫 번째 패스 (first pass)를 수행하기에 충분한 경우가 많습니다.

라우팅 로직은 간단합니다:

1. 초안 작성 (Initial Draft): Groq Llama 3 8B를 사용하여 생성합니다.
2. 품질 검사 (Quality Check): 소형 미세 조정(fine-tuned)된 Llama 3 8B 모델(Oracle Cloud Infrastructure의 Llama 3 엔드포인트에서 실행)이 비평가(critic) 역할을 수행합니다. 이 모델은 초안이 브리프(brief)의 main_points_to_cover(다뤄야 할 주요 지점), tone(어조), target_length_words(목표 단어 수)를 준수하는지 확인합니다. 또한 브리프에 제공된 competing_urls(경쟁 URL)와 교차 참조하여 명백한 사실 오류나 환각 (hallucination)을 찾아냅니다. 이 비평가 모델은 비용이 저렴하고 속도가 빠릅니다.
3. 수정 루프 (Revision Loop): 만약 Groq 초안이 품질 검사를 통과하지 못하면, Article_Draft_Agent는 _비평가의 피드백_과 _원본 브리프_를 Claude 3 Opus로 다시 보내 수정된 초안을 요청합니다. 이를 통해 Opus가 초기 상용구 (boilerplate) 작성이 아닌, 복잡한 추론과 정교화 작업에 사용되도록 보장합니다. 이 방식은 초안 작성에 드는 LLM 비용을 약 60% 정도 크게 절감해 주었습니다.

이 에이전트의 출력물은 발행 준비가 완료된 Markdown 형식의 기사입니다.

Dev.to 및 AIdeazz.xyz로 발행하기: Publisher_Agent

Publisher_Agent는 최종 Markdown 기사를 가져와 멀티 플랫폼 배포를 처리합니다.

Dev.to 연동

Dev.to API를 사용하면 Dev.to로의 발행은 간단합니다. 에이전트는 기사 본문, 태그(브리프의 keywords에서 추출), 그리고 AIdeazz.xyz를 가리키는 표준 URL (canonical URL)을 포함한 JSON 페이로드 (payload)를 구성합니다. 이는 Google에 AIdeazz.xyz가 원본 소스임을 알려주는 SEO (검색 엔진 최적화) 측면에서 매우 중요합니다. Dev.to API 호출은 다음과 같은 형태입니다:

import requests

devto_api_key = os.getenv("DEVTO_API_KEY")
...

AIdeazz.xyz 캐싱 및 표시

AIdeazz.xyz의 경우, 전통적인 CMS를 사용하지 않습니다. 제 사이트는 Markdown 파일로부터 생성된 정적 사이트 (static site)입니다. Publisher_Agent는 Markdown을 HTML로 변환하고, 고유한 슬러그 (slug, 예: oracle-cloud-free-tier-limitations)를 생성한 뒤, 이를 Oracle Object Storage 버킷에 저장합니다. 이 버킷은 정적 웹사이트로 구성되어 Oracle CDN을 통해 서비스됩니다.

프로세스:

1. 슬러그 생성 (Slug Generation): 간단한 함수가 기사 제목을 URL 친화적인 슬러그 (slug)로 변환합니다.
2. 마크다운을 HTML로 변환 (Markdown to HTML): markdown2 라이브러리가 변환을 처리합니다.
3. 메타데이터 삽입 (Metadata Injection): 프론트 매터 (Front matter) (제목, 날짜, 태그, 표준 URL (canonical URL))가 HTML에 추가됩니다.
4. 객체 스토리지 업로드 (Object Storage Upload): HTML 파일이 aideazz-blog-bucket/blog/{slug}/index.html로 업로드됩니다.
5. 캐시 무효화 (Cache Invalidation): Oracle CDN API를 호출하여 /blog/{slug}/index.html에 대한 캐시를 무효화함으로써 새로운 콘텐츠가 즉시 표시되도록 합니다.

이 설정은 비용 효율성이 매우 높습니다. Oracle Object Storage는 월 GB당 $0.025이며, 트래픽이 적은 사이트의 경우 CDN 비용은 최소 수준입니다. 데이터베이스도, 서버 사이드 렌더링 (Server-side rendering)도 없으며, 오직 정적 파일만 존재합니다.

모니터링 및 반복: Feedback_Loop_Agent

마지막으로 중요한 에이전트는 Feedback_Loop_Agent입니다. 이 에이전트는 발행된 기사와 관련된 새로운 데이터가 있는지 GSC를 모니터링합니다. 몇 주가 지난 후, 대상 쿼리 (queries)의 평균 순위가 개선되었는지, 그리고 더 중요한 것은 클릭 (clicks)이 발생하기 시작했는지를 확인합니다. 만약 기사의 성과가 여전히 저조하다면 (예: 순위 > 50, 클릭 0회), 해당 기사를 수정 대상으로 표시합니다.

수정 프로세스는 다음과 같습니다:

1. GSC 재분석 (Re-analyzing GSC): 어떤 새로운 관련 쿼리들이 나타났는가?
2. 재브리핑 (Re-briefing): GSC_Analyzer가 최신 GSC 데이터와 경쟁사 분석을 바탕으로 새로운 키워드나 주요 포인트를 포함하여 업데이트된 브리프 (brief)를 생성합니다.
3. 재초안 작성 (Re-drafting): Article_Draft_Agent가 수정된 기사를 생성합니다.
4. 재발행 (Re-publishing): Publisher_Agent가 Dev.to와 AIdeazz.xyz에 있는 기존 기사를 업데이트합니다.

이 폐쇄 루프 (closed-loop) 시스템은 콘텐츠 파이프라인이 단순히 실행하고 잊어버리는 (fire-and-forget) 메커니즘이 되지 않도록 보장합니다. 이 시스템은 Google의 실제 성과 데이터를 기반으로 지속적으로 학습하고 적응합니다.

저의 초기 15개 GSC 쿼리는 이제 30개의 발행된 기사로 변모했으며, 해당 초기 쿼리들에 대한 사이트의 평균 순위는 80위 이상에서 평균 45위로 개선되었습니다. 클릭 수는 여전히 낮지만, 발생하고 있습니다. 실제 GSC 갭 (GSC gaps)에서 시작하는 이러한 반복적이고 데이터 중심적인 (data-driven) 접근 방식은, 단순히 검색량이 많은 키워드를 맹목적으로 쫓는 것보다 더 효과적인 전략임이 증명되고 있습니다.

자주 묻는 질문 (Frequently Asked Questions)

Q: AI가 생성한 콘텐츠가 Google에 의해 스팸으로 분류되는 것을 어떻게 방지하나요?
A: 핵심은 출처가 아니라 품질과 관련성입니다. 저의 파이프라인은 상세하고 사실적인 콘텐츠를 통해 특정 GSC 갭을 해결하는 데 집중합니다. Article_Draft_Agent의 비평 모델 (critic model)과 인간의 검토 (중요한 기사의 경우)를 통해 정확성을 보장하고 일반적인 문구 (generic phrasing)를 피합니다. Google의 가이드라인은 콘텐츠가 어떻게 생성되었는지와 관계없이 유용하고 신뢰할 수 있는 콘텐츠를 강조합니다.

Q: 이 파이프라인을 기사당 실행하는 데 드는 총 비용은 얼마인가요?
A: 1,200단어 분량의 기사를 기준으로, Groq를 이용한 초기 초안 작성 비용은 무시할 수 있는 수준($0.0001)입니다. 정교화 (refinement)를 위한 Claude 3 Opus 비용은 $0.20~$0.50입니다. 경쟁사 분석을 위한 SerpAPI 비용은 $0.01~$0.02입니다. Oracle Cloud Object Storage 및 CDN은 낮은 규모에서는 사실상 무료입니다. 설정 및 가끔씩 이루어지는 검토에 드는 저의 개인 시간을 제외하면, 기사당 총 비용은 보통 $0.60 미만입니다.

Q: 기술적인 주제에 대한 사실적 정확성은 어떻게 처리하나요?
A: GSC_Analyzer는 공식 문서를 포함하여 상위 순위 소스로부터 competing_urls를 제공합니다. Article_Draft_Agent의 비평 모델은 이 정보들을 교차 참조 (cross-reference)하도록 지시받습니다. 매우 민감한 기술적 콘텐츠의 경우, 최종 발행 전에 수동 검토를 수행합니다.

Q: GSC 쿼리가 너무 광범위하거나 무의미하다면 어떻게 하나요?
A: GSC_Analyzer는 노출 수 (impressions)가 최소 10회 이상이고 순위가 50~100 사이인 쿼리만 필터링합니다. 만약 쿼리가 여전히 너무 광범위하다면, 에이전트의 브리프 생성 (brief generation) 단계에서 관련 있는 main_points_to_cover 및 competing_urls를 찾는 데 어려움을 겪게 되며, 이것이 자연스러운 필터 역할을 합니다. 또한 쿼리를 폐기할 수 있는 수동 오버라이드 (manual override) 기능도 갖추고 있습니다.

— Elena Revicheva · AIdeazz · Portfolio