만약 모델 비교 포스트를 보고 이곳에 오셨다면, 여러분은 이미 벤치마크 수치들을 알고 계실 것입니다. 추론 점수(Reasoning scores), 컨텍스트 윈도우(Context windows), 초당 토큰 수(Tokens per second), 백만 토큰당 가격 등 말이죠. 유용한 데이터들이지만, 그중 어떤 것도 여러분이 실제로 가진 질문에 답해주지는 못합니다. 즉, '내 콘텐츠 파이프라인(Content pipeline)에 어떤 모델을 연결해야 하며, 결과물이 Slack 스레드가 아닌 실제 프로덕션(Production)에 반영되도록 어떻게 구성해야 하는가?'라는 질문 말입니다.

이 포스트가 그 질문에 답해 드립니다. 이 글은 실제로 콘텐츠를 출시해야 하는 사람들을 위해 작성되었습니다.

3축 프레임워크 (The three-axis framework)

콘텐츠 작업을 위한 모델 선택은 세 가지 축으로 요약됩니다. 각 축에 따라 여러분의 유스케이스(Use case)를 점수화하면 대개 답이 나옵니다.

축 1: 수정 허용도 (Revision tolerance)

콘텐츠 한 편당 어느 정도의 편집을 감수할 용의가 있습니까?

• 낮은 허용도 (가벼운 교정 후 바로 게시): 가장 강력한 추론 모델(Reasoning model)이 필요합니다. 기사 한 편당 발생하는 비용 차이는 편집자의 시간당 임금에 비하면 오차 범위 수준입니다.
• 높은 허용도 (초안은 시작점일 뿐이며, 사람이 40%를 다시 작성함): 더 빠르고 저렴한 모델이 유리합니다. 여러분은 뼈대(Scaffold)를 위해 비용을 지불하는 것입니다.

대부분의 팀은 이 축을 잘못 판단합니다. 프리미엄 모델을 구매하고도 결국 모든 내용을 다시 작성하거나, 편집 없이 나갈 콘텐츠에 대해 저렴한 모델을 구매하곤 합니다.

축 2: 볼륨 형태 (Volume shape)

• 적은 수량, 높은 중요도 (필러 페이지(Pillar pages), 비교 페이지, 출시 포스트): 프리미엄 모델, 긴 컨텍스트(Long context), 콘텐츠당 1회 호출.
• 많은 수량, 낮은 중요도 (제품 설명, 대체 텍스트(Alt text), 메타 설명(Meta descriptions), 카테고리 요약문): 저렴하고 빠른 모델, 배치(Batched) 처리.

메타 설명이 필요한 2,000개의 제품 카탈로그 작업은 3,000단어 분량의 기술 가이드 작업과는 완전히 다른 작업이며, 동일한 모델을 사용해서는 안 됩니다.

축 3: 구조 요구사항 (Structure requirements)

이것은 벤치마크 요약본에서 아무도 언급하지 않는 축이며, 파이프라인을 망가뜨리는 주범입니다.

CMS 콘텐츠는 타입이 지정된 객체(typed object)입니다. 즉, 글자 수 제한이 있는 제목, 슬러그(slug), 155자 미만의 SEO 설명, 마크다운(markdown) 형식의 본문, 정해진 어휘 집합에서 추출한 태그 세트, 그리고 작성자 객체와의 관계 등으로 구성됩니다. 만약 모델이 스키마(schema)에서 155자 문자열을 요구하는 곳에 정해지지 않은 산문(loose prose)을 반환한다면, 귀하의 파이프라인은 쓰기(write) 단계에서 실패하게 됩니다.

따라서 이 축(axis)에서 던져야 할 진짜 질문은 이것입니다: 모델이 스키마를 준수하는 출력을 얼마나 신뢰성 있게 생성하는가? 이를 구체적으로 테스트하십시오. 실제 객체 타입 정의를 모델에 제공하고 20개의 객체를 생성하도록 요청하십시오. 그중 유효성 검사(validate)를 통과하는 개수를 세어보십시오.

유스케이스(Use case) 점수 매기기

세 가지 축은 단일 모델 이름이 아닌, 하나의 티어(tier)를 결정해 줍니다. Cosmic의 AI API는 모델을 세 가지 토큰 비용 티어로 그룹화하며, 예산 책정 시 중요한 결정 요소는 바로 이 티어입니다.

• Budget, 1.0x 배수: GPT-5 Nano, GPT-5 Mini, Claude Haiku 4.5
• Standard, 2.0x 배수: GPT-5, GPT-5.2, GPT-5.2 Codex, GPT-5.5, Claude Sonnet 4.6, Claude Sonnet 5, Claude Opus 4.7, Claude Opus 4.8, Gemini 3.1 Pro, Kimi K3
• Premium, 4.0x 배수: Claude Fable 5

여섯 가지 일반적인 콘텐츠 작업(content jobs)을 해당 티어에 매핑하면 시작 구성을 얻을 수 있습니다:

배수(multipliers)는 절대적인 가격이 아닌 상대적인 비용으로 이해하십시오. Premium 생성은 Budget에서 동일한 호출을 수행할 때보다 4배 많은 토큰을 소비합니다. 이것이 바로 최상위 티어에서 2,000개의 카탈로그 항목을 실행하면 비용이 빠르게 증가하는 반면, 단일 Pillar 페이지를 실행하는 데는 비용이 거의 들지 않는 이유입니다.

특히 Premium 티어에 대한 현재의 헤드 투 헤드(head-to-head) 비교를 원하신다면, Claude Sonnet 5 vs Opus 5에서 상세히 분석해 두었습니다.

이것이 실제로 작동할지 여부를 결정하는 부분

모델 선택은 결과의 약 20%에 불과할지도 모릅니다. 나머지 80%는 배관(plumbing) 작업입니다. 즉, 생성된 콘텐츠가 어디에 안착하는지, 라이브(live) 상태가 되기 전에 검토가 가능한지, 그리고 사람이 배포(deploy) 없이도 이를 수정할 수 있는지에 관한 것입니다.

가장 자주 간과되는 순서대로 나열한 세 가지 요구사항은 다음과 같습니다:

1. 생성된 콘텐츠는 반드시 초안(draft) 상태로 저장되어야 합니다. 프로덕션(production) 환경에 직접 쓰는 파이프라인(pipeline)은 단 한 번의 잘못된 생성만으로도 장애(incident)로 이어질 수 있습니다. 귀하의 CMS에는 API가 쓸 수 있는 초안 상태가 반드시 필요합니다.

2. 스키마(schema)는 서버 측(server-side)에서 강제되어야 합니다. 만약 콘텐츠 모델이 155자 제한 필드에 400자 문자열을 허용한다면, 모델의 실수는 곧 귀하의 검색 스니펫(search snippet) 오류가 됩니다. 검증(validation)은 모든 쓰기 작업이 통과해야 하는 콘텐츠 모델 자체에 포함되어야 합니다.

3. 편집자는 코드에 손을 대지 않고도 출력물을 수정할 수 있어야 합니다. 이것이 AI 파이프라인에서 헤드리스 CMS(headless CMS)를 사용해야 하는 핵심 논거입니다. 모델이 초안을 작성하고, API가 이를 쓰고, 사람은 UI에서 이를 수정합니다. 오타 하나를 고치기 위해 아무도 풀 리퀘스트(pull request)를 열 필요가 없어야 합니다.

소스 문서에 생성 내용을 근거(grounding)로 두는 방법과 긴 출력물을 스트리밍(streaming)하는 방법을 포함한 전체 빌드 과정은 How to Build an AI Content Pipeline with Claude and a Headless CMS를 참조하세요.

Cosmic에서의 구현 모습

생성과 저장은 동일한 클라이언트(client)를 통해 실행되므로, 위에서 언급한 티어(tier) 결정은 통합(integration)의 문제가 아니라 하나의 파라미터(parameter) 문제입니다.

Generate

import { createBucketClient } from '@cosmicjs/sdk'

const cosmic = createBucketClient({
...

model 파라미터가 전체 스위치 역할을 합니다. 제품 설명을 Standard에서 Budget으로 낮추거나, 필러 페이지(pillar page)를 Premium으로 올리는 것은 문자열 하나를 수정하는 것과 같습니다. 별도의 제공업체 계정도, 별도의 인보이스(invoice)도, 최신 상태로 유지해야 할 벤더별 SDK도 필요 없습니다. 우리는 Why Your AI Stack Should Be Model-Agnostic에서 이 사례에 대해 상세히 논의했습니다.

model을 생략하면 API는 claude-opus-5를 사용합니다. 전달할 수 있는 다른 ID로는 gemini-3.1-pro-preview, gpt-5.2-codex, kimi-k3 등이 있습니다. 전체 목록은 AI API docs에서 확인할 수 있습니다.

응답의 두 번째 값에 주목하세요. usage는 모든 호출 시 반환되므로, 백만 토큰당 가격표를 보고 추정하는 대신 각 콘텐츠별 실제 토큰 수를 기록할 수 있습니다.

쓰기 (Write)

생성된 콘텐츠는 서버 측 검증 (server-side validation)이 적용된 타입 지정 객체 (typed object)를 통해 초안 (draft) 형태로 저장됩니다.

// `generated`는 모델이 반환하여 이미 파싱된 값입니다
await cosmic.objects.insertOne({
  type: 'blog-posts',
...

두 가지 주목할 점이 있습니다. status: 'draft'는 편집자가 모든 생성물을 공개하기 전에 검토함을 의미합니다. 그리고 seo_description은 메타필드 (metafield) 자체에 maxlength가 설정되어 있어, 너무 긴 값은 조용히 배포되는 대신 API 경계 (API boundary)에서 거부됩니다.

프론트엔드에서 이를 다시 읽어오는 데에도 동일한 SDK를 사용합니다:

const { objects } = await cosmic.objects
  .find({ type: 'blog-posts', status: 'published' })
  .props('title,slug,metadata.seo_description,metadata.markdown_content')
...

Cosmic은 이 모든 것을 REST API와 TypeScript SDK를 통해 제공하므로, 모델이 크론 잡 (cron job), 서버리스 함수 (serverless function), 또는 에이전트 (agent)에서 실행되든 파이프라인 (pipeline)은 동일합니다.

확정하기 전의 저렴한 테스트

특정 티어 (tier)로 표준화하기 전에 이것을 실행해 보세요. 오후 한나절 정도 소요되지만, 그 어떤 벤치마크 차트보다 효과적입니다.

1. 이미 게시한 실제 콘텐츠 10개를 준비합니다.
2. 객체 스키마 (object schema)를 포함하여, 실제 운영 환경에서 사용할 프롬프트 (prompt)를 작성합니다.
3. 각 후보 모델별로 10개의 대체 콘텐츠를 생성합니다. 이때 실행 간에는 model 문자열만 변경합니다.
4. 두 가지 수치를 측정합니다: 첫 시도에서 스키마 (schema)를 통과하는 개수, 그리고 각 콘텐츠가 게시 가능한 수준에 도달하기까지 필요한 편집 시간(분)입니다.
5. 실제 비용을 합산합니다. 모든 호출에서 usage를 기록한 다음, 티어 배수 (tier multiplier)를 적용합니다: Budget 1.0x, Standard 2.0x, Premium 4.0x. 이렇게 하면 추정치가 아닌 콘텐츠당 측정된 토큰 소비량을 얻을 수 있습니다. 편집 시간(분)에 인건비가 포함된 편집 요율을 곱한 뒤, 두 수치를 합산합니다.

총비용이 가장 저렴한 옵션을 선택하세요. 이 수치는 리더보드 (leaderboard) 순위보다 실제 비용을 훨씬 더 정확하게 예측합니다.

무료 플랜에는 매월 300,000개의 입력 토큰과 300,000개의 출력 토큰이 포함되어 있어, 비용을 지불하기 전에 이 전체 비교를 실행하기에 충분합니다.

파이프라인 구축 시작하기

오늘 바로 실제 버킷 (bucket)을 대상으로 이 두 가지 과정을 모두 실행해 볼 수 있습니다. Cosmic의 무료 플랜에는 신용카드 등록 없이도 1개의 버킷, 2명의 팀원, 1,000개의 객체, 그리고 위의 AI 토큰 할당량이 포함됩니다. 유료 플랜은 Builder 기준 월 $49부터 시작하며, 추가 팀원은 사용자당 월 $29입니다. 자세한 내용은 요금 페이지에서 확인하세요.

대량의 AI 콘텐츠 파이프라인을 운영 중이며 아키텍처 (architecture)에 대해 논의하고 싶으신가요? 저희 CEO인 Tony와 20분간 미팅 예약하기를 클릭하세요. Cosmic은 YC W19 기업이며, API-first 콘텐츠라는 용어가 생기기 전부터 이 분야를 선도해 왔습니다.

계속 읽기

• Claude와 Headless CMS를 사용하여 AI 콘텐츠 파이프라인을 구축하는 방법
• 당신의 AI 스택이 모델 불가지론적 (Model-Agnostic)이어야 하는 이유
• Claude Sonnet 5 vs Opus 5
• Headless CMS란 무엇인가?